CN102170527B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN102170527B
CN102170527B CN201110081467.XA CN201110081467A CN102170527B CN 102170527 B CN102170527 B CN 102170527B CN 201110081467 A CN201110081467 A CN 201110081467A CN 102170527 B CN102170527 B CN 102170527B
Authority
CN
China
Prior art keywords
image
mentioned
region
interest
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110081467.XA
Other languages
English (en)
Other versions
CN102170527A (zh
Inventor
助则笃志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102170527A publication Critical patent/CN102170527A/zh
Application granted granted Critical
Publication of CN102170527B publication Critical patent/CN102170527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理装置，具备：动态图像数据获取部，获取表示动态图像的动态图像数据；关注区域确定部，按每个上述静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动图像，该动态图像由上述动态图像数据获取部获取到的上述动态图像数据所表示；以及，图像处理部，对上述关注区域确定部所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理对由上述关注区域确定部确定了上述关注区域的上述静止图像，分别将图像风格变更为绘画风格。

Description

图像处理装置
相关申请的交叉引用
本申请基于2010年2月16日提交的日本专利申请2010-030910号，并要求其优先权，其全部内容在此结合作为参考。
技术领域
本发明涉及图像处理装置。
背景技术
作为这种技术，例如在日本国特开2006-031688号公报(以下称为“专利文献1”)中，公开了一种图像处理装置，该装置预先存储用于确定图像内关注的区域(关注区域)的像素值等，通过使用该像素值，从由数字照相机等获取的图像数据所表示的图像中确定关注区域，并使所确定的关注区域比其它区域更加突出。
此外，日本国特开2004-021374号公报(以下称为“专利文献2”)中，公开了一种图像处理装置，该装置预先存储用于识别被摄体的脸部等的特征的被摄体信息，通过使用该被摄体信息，将图像内存在被摄体的被摄体区域确定为关注区域，并使所确定的关注区域比其它区域更加突出。
然而，在现有技术中，使用用于确定预先所存储的图像内的关注区域的规定信息，来确定静止图像内的关注区域，因此例如在对构成动态图像的静止图像实施图像处理的情况下，会导致没有正确地确定动态图像中存在运动的区域(拍摄有运动的被摄体的区域等)、没有将存在运动的区域与除此之外的区域区别开来、而是对这两者执行相同强度的图像处理(变更图像风格的图像处理)。因此，用户难以识别在变更了图像风格的动态图像中存在运动的区域。
发明内容
因此，本发明的目的是要提供一种图像处理装置，使用户易于识别在变更为不同图像风格的动态图像中存在运动的区域。
根据本发明的一个实施方式，提供了一种图像处理装置，其具备：动态图像数据获取部，获取表示动态图像的动态图像数据；关注区域确定部，按每个上述静止图像，将多个静止图像的各静止图像之间存在运动的区域确定为关注区域，其中，上述多个静止图像构成动态图像，该动态图像由上述动态图像数据获取部获取到的上述动态图像数据所表示；以及，图像处理部，在上述关注区域确定部所确定的上述静止图像内的上述关注区域和其它区域，以不同的内容来执行图像处理，该图像处理分别对上述关注区域确定部确定了上述关注区域的上述静止图像将图像风格变更为绘画风格。
附图说明
图1是示出本发明的实施方式的图像处理装置的功能的框图；
图2是示出本发明的实施方式的图像处理装置的硬件结构的框图；
图3是示出本发明的实施方式的图像处理装置所执行的图像处理的流程图；
图4A和图4B是示出划分成规定的大小的图像处理对象的静止图像和在其之前的静止图像的图；
图5是示出对应于划分成规定的大小的每个块的、表示关注区域或其它区域的信息的示意的图；
图6A和图6B是示出图像处理对象的静止图像和在其之前所获取的静止图像的图；
图7是示出对关注区域和其它区域通过不同的内容执行了图像处理的示意的图。
具体实施方式
下面将参照附图来说明本发明的实施方式。在本实施方式中，说明以数字照相机来实现了本发明的图像处理装置1的方式。在图像处理装置1中，作为拍摄模式，除了一般的静止图像拍摄模式以及动态图像拍摄模式以外，还具有绘画图像模式。
绘画图像模式是这样的一种方式，即，从用户从菜单画面中选择绘画图像模式的操作被执行的时间点开始，通过预先设定的帧速率，依次获取表示图像的帧数据(以下称为原始图像数据)，对所获取的原始图像数据所表示的图像(原始图像数据被适当地变更为规定的图像数据)执行向绘画风格转换的图像处理来生成绘画图像数据，将由其所表示的绘画图像实时取景(live view)显示在显示画面上。所谓绘画风格的图像(绘画图像)，指与原始的照片图像的感觉(图像风格)不同的油画风格、撕纸画(ちぎり絵)风格、水墨画风等的图像。
首先，利用图1来说明图像处理装置1的结构。图像处理装置1具备控制部10、存储部20、摄像部30、输入部40、显示部50和读出写入部60。
控制部10执行图像处理装置1的各部分的控制，并执行图像处理装置1整体的控制。此外，控制部10具备动态图像数据获取部10a、关注区域确定部10b、图像处理部10c，它们确定在动态图像数据所表示的动态图像中存在运动的区域(关注区域)，以不同于其它区域的内容对所确定的关注区域执行图像处理。这里，动态图像指的是由多个连续的静止图像所构成的图像。
存储部20根据控制部10的控制，适当地存储控制部10在处理中所生成的各种数据以及读出写入部60从记录介质100中读出的记录图像数据等。
摄像部30根据控制部10的控制，以规定帧速率来对图像进行摄像。摄像部30生成表示拍摄到的图像的摄像信号，根据所生成的摄像信号，生成数字原始图像数据(1帧的量的静止图像数据)。摄像部30将生成的原始图像数据提供给控制部10。
输入部40是接受用户的操作输入的操作部，将与所接受的操作输入的内容对应的操作输入数据提供给控制部10。
显示部50根据控制部10的控制，显示由摄像部30所拍摄的图像、操作画面、以及读出写入部60从记录介质100中读出的记录图像数据所表现的记录图像。
读出写入部60根据控制部10的控制，读出记录介质100中所记录的记录图像数据，将其提供给控制部10。此外，读出写入部60根据控制部10的控制，将图像数据写入(记录)到记录介质100中。
记录介质100将动态图像数据或静止图像数据存储为记录图像数据。
接下来，利用图2来说明图像处理装置1的硬件的结构。图像处理装置1具备CPU(Central Processing Unit：中央处理单元)11、主存储装置12、辅助存储装置21、拍摄装置31、输入装置41、驱动电路51、显示面板52和读出写入装置61。
图1的控制部10由CPU11和主存储装置12来实现。CPU11根据从辅助存储装置21加载至主存储装置12的图像处理程序21a，来控制图像处理装置1的整体，此外，特别地，实际执行图1的控制部10所具备的动态图像数据获取部10a、关注区域确定部10b、图像处理部10c所执行的处理。除此之外，控制部10还可以包含ASIC(Application Specific IntegratedCircuit：面向特定用途的集成电路)等。在此情况下，ASIC等执行CPU11所执行的处理的至少一部分。
主存储装置12由RAM(Random Access Memory：随机存取存储器)等来实现。主存储装置12作为CPU11的工作存储器等发挥功能，CPU11从其它的结构部件(例如，拍摄装置31等)接收到的数据、以及CPU11向其它的结构部件(例如，驱动电路51等)提供的数据，暂时记录在主存储装置12的存储区域中。CPU11读出在主存储装置12中记录的数据，利用所读出的数据来执行运算(处理)，将运算结果(处理结果)的数据随时记录在主存储装置12中。
图1的存储部20由辅助存储装置21来实现。辅助存储装置21由闪存或硬盘等构成。此外，辅助存储装置21存储有图像处理程序21a。CPU11向主存储装置12中加载辅助存储装置21所存储的图像处理程序21a，并基于加载到主存储装置12的图像处理程序21a的指令来执行处理。
图1的摄像部30由拍摄装置31来实现。拍摄装置31由具备CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等的摄像元件、AFE(Analog Front End：模拟前端)、DSP(DigitalSignal Processor：数字信号处理器)等的照相机等构成。
拍摄装置31通过摄像元件来生成表示被拍摄到的图像的摄像信号，对生成的摄像信号实施各种处理(由AFE、DSP等执行的处理)，生成数字原始图像数据。此外，在各种处理中，例如，具有：相关双重采样(CorrelatedDouble Sampling)的处理、对采样后的摄像信号实施的自动增益控制(Automatic Gain Control)的处理、将自动增益控制后的模拟摄像信号转换为数字信号的模拟-数字转换处理，以及轮廓增强、自动白平衡、自动光圈等提高画质的处理。
原始图像数据是表示通过摄像元件所摄像的一帧的量(一个摄像图像的量)的静止图像的数据。拍摄装置31每生成原始图像数据都将其提供给主存储装置12。主存储装置12存储从拍摄装置31接收到的原始图像数据。CPU11利用主存储装置12所存储的原始图像数据，执行后述的处理。
图1的输入部40由输入装置41来实现。输入装置41是包含拍摄键、再现键、停止键、菜单键、图像转换模式选择键、设置键、电源键等多个操作键、由用户执行操作的接口装置。若用户对这些键进行操作，则输入装置41将与各键对应的操作输入数据提供给主存储装置12。主存储装置12接收由输入装置41所提供的操作输入数据，并存储所接收的操作输入数据。CPU11根据主存储装置12所存储的操作输入数据，执行后述的处理。
图1的显示部50由驱动电路51和显示面板52实现。CPU11利用各种图像数据，生成显示用的数据(例如，RGB(RED-GREEN-BLUE：红-绿-蓝)数据)，将所生成的显示用的数据提供给驱动电路51。驱动电路51基于所接收到的显示用的数据来驱动显示面板52，在显示面板52上显示由各种图像数据所表示的各种图像。
显示面板52例如由液晶显示面板或有机EL(OrganicElectro-Luminescence：OEL)显示面板等构成。通过驱动电路51来在显示面板52上显示各种图像。
另外，图1的输入部40和显示部50还可以由触摸面板来实现。在此情况下，输入装置41和显示面板52由触摸面板构成。触摸面板显示用于接收规定操作的输入画面，并且将用户在输入画面上进行了接触操作的位置所对应的操作输入数据提供给主存储装置12。主存储装置12接收从触摸面板提供的操作输入数据，并存储所接收的操作输入数据。CPU11根据主存储装置12所存储的操作输入数据，执行后述的处理。
图1的读出写入部60由读出写入装置61实现。读出写入装置61是执行数据的读出、写入的接口装置。读出写入装置61读出记录介质100中所记录的记录图像数据(静止图像数据或者动态图像数据)，将所读出的记录图像数据提供给主存储装置12。主存储装置12接收从读出写入装置61提供的记录图像数据，并存储所接收的记录图像数据。CPU11利用主存储装置12所存储的记录图像数据来执行后述的处理。
记录介质100由闪存类型的存储卡101等实现。作为存储卡101，有记录记录图像数据的SD存储卡等。
接着，利用图3说明图像处理装置1所执行的图像处理。
用户利用输入部40来执行在接通电源后从显示在显示部50上的菜单画面选择绘画图像模式的操作。此外，这时用户还可以执行对水彩画、彩色素描、粉彩画、点彩画、气刷(air brush)、油彩画、哥特样式的油画等绘画风格的种类进行选择的操作。输入部40将绘画图像模式和绘画风格的种类选择操作的输入所对应的操作输入数据提供给控制部10。
控制部10通过从输入部40接收该操作输入数据来开始图像处理(图3的图像处理开始)。
在该图像处理中，动态图像数据获取部10a根据预先设定的帧速率，进行摄像部30的驱动控制，使摄像部30对图像进行摄像。动态图像数据获取部10a按每帧地依次获取由摄像部30所生成的原始图像数据，以获取的顺序将其保持(暂时记录)在规定的存储区域(例如，图2所示的暂时存储装置12)中。轮廓增强、自动白平衡、自动光圈等提高画质的处理，也可以由控制部10(动态图像数据获取部10a)来执行。在此情况下，控制部10(动态图像数据获取部10a)通过利用从摄像部30所获取的数据来执行上述处理，生成(获取)原始图像数据。
动态图像数据获取部10a每获取一帧的量的原始图像数据，关注区域确定部10b就执行确定该原始图像数据所表示的静止图像内的关注区域的处理。关注区域确定部10b设定n＝1(步骤S101)。n表示动态图像数据获取部10a按每帧地获取到的原始图像数据的顺序。接下来，关注区域确定部10b使n＝n+1(步骤S102)。即，在这里成为图像处理对象的是第n个(第2个)原始图像数据。
关注区域确定部10b获取第n和第n-1个原始图像数据(步骤S103)。即，关注区域确定部10b从规定的存储区域(图2的暂时存储装置12)中，获取动态图像数据获取部10a第n个(第2个)获取的原始图像数据和第n-1个(第1个)获取的原始图像数据。
关注区域确定部10b利用成为图像处理对象的第n个(第2个)原始图像数据以及在其之前所获取的第n-1个(第1个)原始图像数据，将这些数据所表示的各静止图像划分成如图4A和图4B所示的规定大小的块(步骤S104)。例如，关注区域确定部10b以8×8像素作为一个块，将各静止图像按每块进行划分。并且，在此后的处理中，原始图像数据适当地改变为规定的易于处理的数据形式。
划分后的各块由能够唯一地识别块的识别信息(例如块序号)来确定。例如，将图像的左上角的块的块序号取为“1”，自该块向右地，朝向右上角的块而对每个块附加块序号，进而在右上角的块被附加了块序号“m”之后，对位于图像左上角的块紧下面的块附加块序号“m+1”。这样，各静止图像中被划分后的各块就由块序号来确定。另外，被划分的块的大小可以适当地设定，而可以进行不均等地划分。此外，被划分的块的大小在处理过程中是不变的。
关注区域确定部10b按各静止图像的相互对应的每个块进行比较，按每块获取作为图像处理对象的第n个(第2个)原始图像数据的运动向量(步骤S105)。即，关注区域确定部10b利用作为图像处理对象的第n个(第2个)原始图像数据、以及在其之前所获取的第n-1个(第1个)原始图像数据，对第n个(第2个)原始图像数据所表示的静止图像(图4A)和第n-1个(第1个)原始图像数据所表示的静止图像(图4B)进行比较，按每块获取表示移动距离及移动方向的运动向量，该移动距离及移动方向为，从由第n-1个(第1个)原始图像数据所表示的原始图像至由第n个(第2个)原始图像数据所表示的原始图像的距离及方向。
关注区域确定部10b确定第n个(第2个)原始图像数据的按每块所获取的运动向量为预先设定的运动向量阈值以上(或者超过阈值)的块(步骤S106)。该确定的块被作为如下的块而处理：各静止图像之间的被摄体的移动距离等满足了一定的基准、是存在运动的区域(拍摄有运动的被摄体的区域等)的块。
具体地，关注区域确定部10b按每块地判断按每块地获取到的运动向量是否为运动向量阈值以上(或者超过阈值)。当块的运动向量为运动向量阈值以上(或者超过阈值)的情况下，关注区域确定部10b判断为该块是存在运动的区域(关注区域)，例如，如图5所示，在第n个原始图像中，将该块(块序号)与表示是关注区域(存在运动的区域)的信息“1”对应起来。另一方面，当块的运动向量未达到运动向量阈值(或者是阈值以下)的情况下，关注区域确定部10b判断为该块是不存在运动的区域(关注区域以外的区域)，将该块与表示是关注区域以外的区域(不存在运动的区域)的信息“0”对应起来。
这样，关注区域确定部10b能够确定在由第n个(第2个)原始图像数据所表示的静止图像中包含有运动的被摄体200的块210的集合。
之后，图像处理部10c根据在绘画图像模式选择时用户利用输入部40所选择的绘画风格的种类，执行将第n个(第2个)原始图像数据转换至绘画风格的图像处理。例如，在用户选择了水彩画的情况下，图像处理部10c变更第n个(第2个)原始图像数据所具有的各种参数，生成表示水彩画风的绘画图像的绘画图像数据。这里，参数是对在执行将图像变更为绘画风格的图像处理时的、图像处理的处理强度进行规定的数值。此外，在参数中存在表示明亮度、对比度、颜色的浓度、色调、锐度等的各种参数。此外，根据绘画风格的种类(图像处理的种类)，分别对参数进行规定。并且，作为这种向绘画风格转换的图像处理，例如存在使用于photoshop(注册商标)的各种滤镜(filter)等中的处理。
图像处理部10c根据不同的处理强度，对被关注区域确定部10b确定为关注区域的块和其它区域(块)执行图像处理(步骤S107)。图像处理的处理强度对各种参数的数值进行上下调节。具体地，图像处理部10c例如提高对关注区域的图像部分执行的图像处理的处理强度，并且降低对关注区域以外的区域的图像部分执行的图像处理的处理强度。即，图像处理部10c提高预先设定的各种参数的数值(基准值)而对与表示是关注区域的信息“1”对应的块的图像部分执行图像处理。这样，该图像部分被详细地描绘而细致地表示了的绘画风格的笔触(タツチ)。另一方面，图像处理部10c例如降低预先设定的各种参数的数值(基准值)而对与表示是关注区域以外的区域的信息“0”对应的块的图像部分执行图像处理。这样，该图像部分被大致描绘而粗略地表示了的绘画风格的笔触。
这样，在本实施方式中，如果提高各种参数的数值，则图像处理的处理强度变大，由此，绘画风格的笔触变得细致。此外，如果降低各种参数的数值，则图像处理的处理强度变小，由此，绘画风格的笔触就变得粗略。并且，处理强度的大小、参数的数值、笔触的粗细的关系并不限定于此。此外，它们的关系因绘画风格的种类而不同，可预先设定。这里，图像处理部10c执行使处理强度变化、以细致的笔触来表示关注区域、以比关注区域粗略的笔触来表示其它区域的图像处理。并且，图像处理部10c不限于这样的例子，其执行使处理强度变化、在关注区域和其它区域中、从原始图像转换的程度不同的图像处理。
图像处理部10c通过以全部的块作为对象执行上述图像处理，从而基于第n个(第2个)原始图像数据来生成绘画图像数据。图像处理部10c将所生成的绘画图像数据记录在规定的存储区域(图2的暂时存储装置12等)中，并且将其转换为显示用的数据并提供给显示部50。根据图像处理部10c的控制，在显示部50(图2的显示面板52)上，显示由接收到的绘画图像数据所表示的绘画图像。
之后，直到控制部10判断出绘画图像模式的拍摄已结束(步骤S108：是)为止，动态图像数据获取部10a、关注区域确定部10b、图像处理部10c反复执行与上述同样的处理(步骤S102至步骤S107)，每当动态图像数据获取部10a从摄像部30依次获取一帧的量的原始图像数据，就基于该原始图像数据来执行生成一帧的量的绘画图像数据的处理。
此外，图像处理部10c每生成一帧的量的绘画图像数据，就将其记录在存储区域(图2的暂时存储装置12)，并且将该数据转换为显示用的数据并提供给显示部50。由此，在显示部50(图2的显示面板52)上，实时取景显示由显示用数据所表示的绘画图像。
另外，用户确认在显示部50(图2的显示面板52)上实时取景显示着的绘画图像，通过用户操作拍摄开始键，图像处理部10c判断拍摄开始，将从该操作时刻开始依次按每帧地获取的绘画图像数据记录到存储区域
(图2的暂时存储装置12)中，通过用户操作拍摄结束键，图像处理部10c能够将从操作时刻开始所记录的多个连续的绘画图像数据所构成的动态图像数据，记录到辅助存储装置21、存储卡101等中。此外，在用户执行了拍摄开始键和拍摄结束键的操作时，也能够记录由动态图像数据获取部10a记录到规定的存储区域(图2的主存储装置12)中的多个连续的原始图像数据所构成的动态图像数据。
此外，对于动态图像数据获取部10a最初(第1个)获取的原始图像数据，由于不存在能够与该原始图像数据相比较的图像数据，所以在本实施方式中，执行规定的图像处理。例如，对于最初(第1个)获取的原始图像数据，基于预先设定的图像内的中央区域，区分为该原始图像数据所表示的静止图像内的中央区域与其以外的区域，对与中央区域相当的图像部分执行详细描绘的图像处理，并对与其以外的区域相当的图像部分执行大致描绘的图像处理。即，图像处理部10c对与静止图像内的中央区域相当的图像部分的图像处理，通过提高参数的数值，使图像处理的处理强度变大，从而细致地表示绘画风格的笔触。另一方面，图像处理部10c对与静止图像内的中央区域相当的图像部分的图像处理，通过降低参数的数值，使图像处理的处理强度变小，从而粗略地表示绘画风格的笔触。
按照该实施方式的图像处理装置1，在由动态图像数据(这里，连续获取的原始图像数据的集合)表示的多个静止图像中，例如利用图像处理对象的静止图像(例如，图6A)和在其之前所获取的静止图像(例如，图6B)，将在各静止图像之间存在运动的区域确定为关注区域，如图7所示，在所确定的静止图像内的关注区域70和其它区域71中，通过不同的内容来执行变更静止图像的图像风格的图像处理。这样，用户易于识别在转换为绘画风格的动态图像中存在运动的区域。此外，通过不同内容的图像处理，用户易于识别存在运动的区域的特征。
此外，按照本实施方式的图像处理装置1，关注区域确定部10b将表示各静止图像间的变化的被摄体的移动距离等满足一定基准的区域确定为关注区域，因此能够只将在各静止图像间、被摄体的移动距离等满足了一定基准的区域(即，移动大的区域)确定为关注区域。
此外，按照本实施方式的图像处理装置1，对于构成由动态图像数据所表示的动态图像的多个静止图像，关注区域确定部10b分别将静止图像划分为规定大小的块，按每个划分的块，将各静止图像的相互对应的块的静止图像之间的变化满足一定基准的区域(块)确定为关注区域，因此能够以块单位区别关注区域和其以外的区域。
此外，在本实施方式中，为了便于说明，在执行了从步骤S102至S107的一系列的处理之后，以下一个原始图像数据作为图像处理对象，但是也可以按每进行各步骤地，依次执行下一个原始图像数据的图像处理。
并且，图像处理装置1执行图像处理的动态图像数据包含：将多个表示一帧的量的静止图像的静止图像数据进行了组合的数据(参照上面的说明)；以及，将通过MPEG(Moving Picture Experts Group：运动图像专家组)等影像压缩方式而表示一帧的量的基准图像(通常为多个)的基准图像数据、和多个差分数据进行了组合的数据等，其中，该差分数据表示与基准图像之间的差分。
例如，在上述实施方式中，说明了图像处理装置1执行绘画图像模式的拍摄、实时取景显示由依次生成的绘画图像数据所表示的绘画图像的例子，但是，还可以利用存储在存储部20、记录介质100等中的动态图像数据来执行与上述实施方式相同的图像处理(图3的步骤S101至步骤S107)。在这种情况下，图像处理装置1(关注区域确定部10b)比较最初的(第1个)原始图像数据和下一个(第2个)原始图像数据，将由最初的(第1个)原始图像数据所表示的静止图像中、存在规定基准以上的运动的区域确定为关注区域。由此，在最初的(第1个)原始图像数据所表示的静止图像的关注区域的图像部分、和在此以外的区域的图像部分中，执行不同内容的图像处理。此外，这种情况下的原始图像数据也可以是JPEG(JointPhotographic Experts Group：联合图形专家组)等的数据形式。在这种情况下，原始图像数据是转换为在上述处理中易于进行适当的处理的数据形式的数据。
此外，在存储部20、记录介质100等中存储的动态图像数据是基于MPEG(运动图像专家组)等数据压缩方法的数据的情况下，利用这种数据，在数据方面再现各静止图像，对各静止图像执行上述的处理，其中，各静止图像构成动态图像数据所表示的动态图像。
并且，作为其它的实施方式，图像处理装置1还能够在由动态图像数据所表示的动态图像中，检测人、动物的脸部像，将存在运动的脸部像的区域确定为关注区域。
具体地，在图像处理装置1中，动态图像数据获取部10a获取动态图像数据。关注区域确定部10b利用表示规定的脸部特征的模板脸部图像，在由最初的(第1个)原始图像数据所表示的静止图像中，例如1个像素1个像素地在左右方向或上下方向上错开而与同模板脸部图像相同区域的图像进行比较。关注区域确定部10b通过搜索与模板脸部图像最为一致的图像(相似度高的图像)来检测被摄体的脸部像。这种搜索是例如通过提取对识别是否是脸部有效的特征量来执行的。特征量是水平边、垂直边、右斜边和左斜边等。此外，这时还可以按一定比例缩小或放大模板脸部图像，通过搜索与缩小或放大后的模板脸部图像最为一致的图像来检测被摄体的脸部像。
此后(第2个以后的原始图像数据)的图像处理通过追踪处理来执行。即，将从第1个图像检测到的被摄体的脸部像用作模板图像，通过将其与依次获取的原始图像数据所表示的图像执行与上述相同的匹配处理，能够依次地检测被摄体的脸部像。
然后，关注区域确定部10b利用由成为图像处理对象的原始图像数据所表示的静止图像、以及由之前所获取的原始图像数据所表示的静止图像，在各静止图像中检测被摄体的脸部像，在各静止图像之间，将存在规定基准以上的运动的脸部像的区域(在静止图像内，脸部像移动了规定基准以上的距离的区域)确定为关注区域。基于此，与上述实施方式相同地，图像处理部10c通过在所确定的静止图像内的关注区域和其它区域、以不同内容执行变更静止图像的图像风格的图像处理，使用户易于识别在转换为绘画风格的动态图像中存在运动的脸部像的区域。
特别是，通过这种方法，不同于以按规定的范围分割后的块单位来确定关注区域的上述实施方式，能够将各静止图像内的脸部像的区域确定为关注区域，变得更加易于在转换为绘画风格的动态图像中识别出存在运动的脸部本身或者脸部轮廓等。脸易于被用户识别，在被转换为绘画风格的动态图像中，能够使用户易于关注的区域、即脸部突出。
此外，作为其它的实施方式，图像处理装置1也可以用合成图像来作为由动态图像数据所表示的动态图像。合成图像例如是将前景图像重叠在背景图像的图像，是指在同一背景图像内只有前景图像发生运动的动态图像。这种动态图像数据，例如是包含表示背景图像的静止图像数据、表示运动的被摄体像(前景图像)的静止图像数据、以及表示前景图像在背景图像上的运动轨迹的数据在内的合成图像数据(混合图像数据)。在这种情况下，合成图像成为静止图像的连续，其中在同一背景图像内前景图像按照轨迹而运动。
关注区域确定部10b在连续的静止图像的各静止图像之间，将按照轨迹移动的前景图像存在规定基准以上的运动的前景图像的区域确定为关注区域，图像处理部10c对关注区域确定部10b所确定的关注区域和其它的区域，使处理强度不同而执行图像处理。
特别是，利用这种方法，不同于以按规定范围分割后的块单位来确定关注区域的上述实施方式，能够将各静止图像内的被摄体像的区域确定为关注区域，变得更加易于在转换为绘画风格的动态图像中识别出存在运动的被摄体像本身。此外，合成图像数据例如还可以是表示多个连续的合成图像的数据，这些合成图像在相同的背景图像内仅前景图像发生运动。在这种情况下，对于这种合成图像数据所表示的合成图像，按照与上述实施方式相同的处理，来确定关注区域，对所确定的关注区域和其以外的区域相区别地执行图像处理。
此外，作为其它的实施方式，图像处理装置1还可以进一步按每个关注区域确定表示关注的程度的值(关注度)。具体地，关于各静止图像间的关注区域的变化大小、或者静止图像内的关注区域所占的比例等，关注区域确定部10b参照按每个一定范围而与关注度(例如关注度1-5)对应地记录在存储部20中的对应表，基于关注区域确定部10b所确定的关注区域的变化大小、或者静止图像内的关注区域所占的比例等，按每个关注区域来确定关注区域的关注度。例如，各静止图像间的关注区域的变化(例如，被摄体的移动距离等)越大，其关注区域的关注度越高。此外，静止图像内的关注区域所占的比例越大，该关注区域的关注度越高。
图像处理部10c根据关注区域确定部10b按每个关注区域所确定的、关注区域的关注度，来改变图像处理的处理强度。图像处理的处理强度与上述实施方式相同，上下调节各种参数的数值。具体地，关注区域的关注度越高，图像处理部10c就越提高预先设定的各种参数的数值(基准值)来执行图像处理。由此，根据关注区域确定部10b所确定的关注区域的关注度，图像处理部10c能够在改变图像风格的图像处理中对静止图像分别通过不同的内容来执行。
此外，对于图像处理部10c执行的变更静止图像的图像风格的图像处理，在本实施方式中，通过不同的处理强度(图像处理的内容)来执行图像处理，但作为其以外的方式，还可以通过不同的图像风格(水彩画、彩色素描、粉彩画、点彩画、气刷、油彩画、哥特样式的油画等)来执行图像处理。例如，图像处理部10c还可以将关注区域确定部10b所确定的关注区域的图像部分作为水彩画，将其以外的区域的图像部分作为点彩画来执行图像处理。这样，图像处理部10c通过对关注区域和其它区域执行不同种类(图像处理的内容)的图像处理，不仅使用户易于识别在转换为绘画风格的动态图像中存在运动的区域，还能给用户留下新的印象。
此外，在上述实施方式中，列举了数字照相机来作为图像处理装置的一个例子，但除此以外，能够以数字相框、个人计算机、移动电话等具有图像处理功能的各种装置来实现(特别是采用存储在存储部20、记录介质100等中的动态图像数据的情况)。
并且，上述实施方式的图像处理程序，也可以记录在便携式记录介质等中。在便携式记录介质中，例如有CD-ROM(Compact Disk Read OnlyMemory)或DVD-ROM(Digital Versatile Disk Read Only Memory)等。此外，图像处理程序还可以通过各种读取装置从便携式记录介质安装到图像处理装置中。进一步地，图像处理程序还可以通过未图示的通信部，从互联网等网络下载及安装到图像处理装置中。此外，图像处理程序还可以保存在能与图像处理装置进行通信的服务器等的存储装置中，执行向CPU等发出的指令。存储了图像处理程序的可读取记录介质(例如，RAM、ROM(Read Only Memory)、CD-R、DVD-R、硬盘、或闪存)成为计算机可读的程序制品。
通过以上说明，根据本发明的实施方式，用户易于识别在改变为不同的图像风格的动态图像中存在运动的区域。

Claims (2)

1.一种图像处理装置，其特征在于，
具备：
动态图像数据获取部，获取表示合成图像的动态图像数据，该合成图像是使运动的被摄体像与静止图像重叠而成的；
关注区域确定部，将多个静止图像的各静止图像间运动的区域按照每个上述静止图像确定为关注区域，上述多个静止图像构成由上述动态图像数据获取部获取到的上述动态图像数据所表示的动态图像；以及
图像处理部，将上述关注区域确定部所确定的上述静止图像内的上述关注区域作为第一内容且将其它区域作为与上述第一内容不同的第二内容来执行图像处理，该图像处理是对上述关注区域确定部确定了上述关注区域的各上述静止图像按照规定的参数将图像风格变更为绘画风格的处理，
上述图像处理部进行第一图像处理和第二图像处理，并且
在执行上述图像处理时，作为上述第二内容的区域也与上述关注区域的运动相对应地变化，
上述第一图像处理在进行将上述关注区域的图像风格变更为绘画风格的图像处理时，作为上述第一内容，通过较高地设定上述参数的数值来提高处理强度，在进行将上述其他区域的图像风格变更为绘画风格的图像处理时，作为上述第二内容，通过与将上述关注区域的图像风格变更为绘画风格时相比较低地设定上述参数的数值来降低处理强度，
上述第二图像处理在进行将上述关注区域的图像风格变更为绘画风格的图像处理时，作为上述第一内容，详细地描绘上述关注区域，比上述第二内容细致地表现绘画风格的笔触，在进行将上述其他区域的图像风格变更为绘画风格的图像处理时，作为上述第二内容，大致地描绘上述其他区域，比上述第一内容粗略地表现绘画风格的笔触。
2.如权利要求1记载的图像处理装置，其特征在于，
上述关注区域确定部还按每个上述关注区域，确定与上述合成图像内的被确定为上述关注区域的上述运动的被摄体像的大小、或上述合成图像内的上述关注区域所占比例相应地变化的值，
上述图像处理部根据上述关注区域确定部所确定的上述值来改变上述图像处理的内容。
CN201110081467.XA 2010-02-16 2011-02-15 图像处理装置 Expired - Fee Related CN102170527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP030910/2010 2010-02-16
JP2010030910A JP4924727B2 (ja) 2010-02-16 2010-02-16 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN102170527A CN102170527A (zh) 2011-08-31
CN102170527B true CN102170527B (zh) 2015-03-11

Family

ID=44369412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110081467.XA Expired - Fee Related CN102170527B (zh) 2010-02-16 2011-02-15 图像处理装置

Country Status (3)

Country Link
US (1) US8736682B2 (zh)
JP (1) JP4924727B2 (zh)
CN (1) CN102170527B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
JP5170472B2 (ja) * 2010-09-24 2013-03-27 カシオ計算機株式会社 画像処理装置およびプログラム
JP5874275B2 (ja) * 2011-09-28 2016-03-02 カシオ計算機株式会社 画像処理装置、画像処理プログラム及び画像処理方法
US9361703B2 (en) 2012-04-03 2016-06-07 Sony Corporation Image processing device, control method of image processing device and program
JP5464261B2 (ja) * 2012-12-19 2014-04-09 カシオ計算機株式会社 画像処理装置およびプログラム
WO2014097892A1 (ja) * 2012-12-19 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2014112635A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
CN105405155A (zh) * 2015-10-21 2016-03-16 努比亚技术有限公司 一种信息处理方法及移动终端
JP7072401B2 (ja) * 2018-02-27 2022-05-20 キヤノン株式会社 動画像符号化装置、動画像符号化装置の制御方法及びプログラム
CN110827191A (zh) * 2018-08-08 2020-02-21 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110830706A (zh) * 2018-08-08 2020-02-21 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
CN111273848A (zh) * 2020-01-14 2020-06-12 维沃移动通信有限公司 一种显示方法和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031688A (ja) * 2004-06-16 2006-02-02 Atsushi Kasao 画像加工装置、画像加工方法及び画像加工プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200686A (ja) * 1996-01-18 1997-07-31 Ricoh Co Ltd 動画合成装置
JPH1084520A (ja) * 1996-09-10 1998-03-31 Sony Corp 画像処理装置およびプリンタ装置
US6999604B1 (en) 1998-08-07 2006-02-14 Korea Institute Of Science And Technology Apparatus and method for detecting a moving object in a sequence of color frame images
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
JP2004021374A (ja) 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP4639965B2 (ja) * 2005-05-31 2011-02-23 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP4780104B2 (ja) * 2005-06-03 2011-09-28 株式会社ニコン 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP4682928B2 (ja) * 2005-06-17 2011-05-11 富士ゼロックス株式会社 アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム
JP2008084171A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 動的奥行感向上方法
US8929434B2 (en) * 2006-10-14 2015-01-06 Ubiquity Broadcasting Corporation Video enhancement internet media experience in converting high definition formats to video formats
US7675549B1 (en) * 2006-12-08 2010-03-09 Itt Manufacturing Enterprises, Inc. Imaging architecture for region and time of interest collection and dissemination
JP4139430B1 (ja) * 2007-04-27 2008-08-27 シャープ株式会社 画像処理装置及び方法、画像表示装置及び方法
JP4851392B2 (ja) * 2007-05-30 2012-01-11 富士通株式会社 画像合成装置と画像合成方法および画像合成プログラム
JP5169139B2 (ja) 2007-10-25 2013-03-27 株式会社ニコン カメラ、および画像記録プログラム
KR101552475B1 (ko) 2007-11-22 2015-09-11 가부시키가이샤 한도오따이 에네루기 켄큐쇼 화상 처리 방법, 화상 표시 시스템, 및 컴퓨터 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031688A (ja) * 2004-06-16 2006-02-02 Atsushi Kasao 画像加工装置、画像加工方法及び画像加工プログラム

Also Published As

Publication number Publication date
US8736682B2 (en) 2014-05-27
CN102170527A (zh) 2011-08-31
US20110199515A1 (en) 2011-08-18
JP4924727B2 (ja) 2012-04-25
JP2011170402A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
CN102170527B (zh) 图像处理装置
DE102011078662B4 (de) Erfassen und Erzeugen von Bildern mit hohem Dynamikbereich
CN101019418B (zh) 视频系统、操作视频设备的方法、及集成电路芯片
KR101609491B1 (ko) 화상 합성 장치, 화상 합성 방법 및 기록 매체
US20120020568A1 (en) Image processor and image processing method
US8326073B2 (en) Method for beautifying human face in digital image
JP4947136B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN102469270A (zh) 图像处理装置、摄像装置、图像处理方法、程序
US20110158551A1 (en) Image composition device, image composition method, and storage medium storing program
CN102542568A (zh) 图像处理装置及图像处理方法
JP2010239440A (ja) 画像合成装置及びプログラム
US9332196B2 (en) Image processing device, method and program
US8063956B2 (en) Image pickup device, image pickup method and integrated circuit
KR101202090B1 (ko) 화상 처리 장치 및 화상 처리 프로그램을 기억한 기억 매체
JP2010092094A (ja) 画像処理装置、画像処理プログラム及びデジタルカメラ
KR100850460B1 (ko) 디지털 카메라에서의 얼굴 영상 개선 방법
CN110089103B (zh) 一种去马赛克方法及装置
US20160189412A1 (en) Image processing apparatus for generating a new moving image from a moving image
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5212451B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
JP2016129281A (ja) 画像処理装置
JP2009205610A (ja) 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体
JP5747591B2 (ja) データ生成装置、データ生成方法、印刷方法、プログラム及び印刷システム
JP7191514B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5881350B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150311

Termination date: 20210215

CF01 Termination of patent right due to non-payment of annual fee