CN101272457B - 图像处理装置和图像处理方法 - Google Patents
图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN101272457B CN101272457B CN2008100843721A CN200810084372A CN101272457B CN 101272457 B CN101272457 B CN 101272457B CN 2008100843721 A CN2008100843721 A CN 2008100843721A CN 200810084372 A CN200810084372 A CN 200810084372A CN 101272457 B CN101272457 B CN 101272457B
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- captured
- photographic subject
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 162
- 230000008569 process Effects 0.000 title claims description 114
- 238000012545 processing Methods 0.000 claims abstract description 330
- 238000006243 chemical reaction Methods 0.000 claims abstract description 185
- 238000003672 processing method Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 59
- 230000008921 facial expression Effects 0.000 claims description 43
- 238000004458 analytical method Methods 0.000 claims description 18
- 239000004065 semiconductor Substances 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 16
- 230000006399 behavior Effects 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 208000029152 Small face Diseases 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000000887 face Anatomy 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00838—Preventing unauthorised reproduction
- H04N1/0084—Determining the necessity for prevention
- H04N1/00843—Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00838—Preventing unauthorised reproduction
- H04N1/0084—Determining the necessity for prevention
- H04N1/00843—Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
- H04N1/00851—Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote externally to or remotely from the reproduction apparatus, e.g. using a connected apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00838—Preventing unauthorised reproduction
- H04N1/00856—Preventive measures
- H04N1/00864—Modifying the reproduction, e.g. outputting a modified copy of a scanned original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00838—Preventing unauthorised reproduction
- H04N1/00856—Preventive measures
- H04N1/00864—Modifying the reproduction, e.g. outputting a modified copy of a scanned original
- H04N1/00872—Modifying the reproduction, e.g. outputting a modified copy of a scanned original by image quality reduction, e.g. distortion or blacking out
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了图像处理装置和图像处理方法。这里公开了一种图像处理装置。该装置包括:摄得图像获取部件,该部件被配置为获取摄得图像;以及待处理区域设置部件,该部件被配置为对由摄得图像获取部件所获取的摄得图像执行分析,并且被配置为如果分析的结果指示出在摄得图像中存在特定类型的拍摄主题图像,则根据拍摄主题图像的尺寸,将摄得图像中的拍摄主题图像的像素区域用作图像转换处理的待处理区域。该装置还包括转换部件,该部件被配置为对其像素区域被用作待处理区域的拍摄主题图像执行图像转换处理,以生成作为图像转换处理的结果而获得的转换后图像。
Description
技术领域
本发明涉及用于对摄得图像(taken image)执行图像处理的图像处理装置,以及该图像处理装置采用的图像处理方法。
背景技术
与本发明相关的技术在下面列出的专利文献中有描述:
专利文献1:
日本专利早期公开No.2003-110999
专利文献2:
日本专利早期公开No.2005-303511
专利文献3:
日本专利早期公开No.2004-62560
专利文献4:
日本专利早期公开No.2005-110004
专利文献5:
日本专利No.3740351
随着诸如因特网之类的网络的普及以及一般用户使用的各种装置所显示的性能的提高,某人在拍摄中所摄取的图像数据可被显示在主页等等之上,通过网络被其他用户共享,并且很容易地与其他用户相交换。一般用户使用的装置包括个人计算机、手机和图像采集装置。某人在拍摄中所摄取的图像可以是运动图像或静止图像。例如,以上列出的专利文献1和2公开了与用于共享图像(或照片)的系统相关的技术和与用于共享图像(或照片)的服务相关的技术。
随着这种系统被投入实际使用,并且通过该系统共享的图像的数目增加,预期图像权利问题的数目和著作权问题的数目将会增加。例如,将会有这样的情况:作为某人脸部图像或著作权作品(copyrighted work)的图像的所拍摄图像未经同意即在网络中公开,不论图像的公开是出于恶意还是善意的。
另一方面,专利文献3、4和5提出了一种用于通过在人脸部图像的一部分上执行马赛克生成处理等等来避免图像权利和著作权问题的技术。
发明内容
但是,在上述现有技术中,尚未提出用于防止用户对拍摄中摄取的图像执行不必要的马赛克生成处理的技术或者用于避免由于用户相反没有对摄得图像执行马赛克生成处理而无意间侵犯了图像权利或著作权的情形的技术。
本发明的发明人发明了一种图像处理装置,该图像处理装置旨在对拍摄中摄取的图像执行用户并不具体知晓的适当图像处理,并且还发明了该图像处理装置将要采用的图像处理方法。
根据本发明的一个实施例,提供了一种图像处理装置,其使用:
摄得图像获取部件,该部件被配置为获取摄得图像;
待处理区域设置部件,该部件被配置为对由摄得图像获取部件所获取的摄得图像执行分析,并且被配置为如果分析的结果指示出在摄得图像中存在特定类型的拍摄主题图像(photographed-subject image),则根据拍摄主题图像的尺寸,将摄得图像中的拍摄主题图像的像素区域用作图像转换处理的待处理区域;以及
转换部件,该部件被配置为对其像素区域被用作待处理区域的拍摄主题图像执行图像转换处理,以生成作为图像转换处理的结果而获得的转换后图像。
以下描述中用作图像转换处理的区域的技术术语“待处理区域”被定义要在图像转换处理中将要处理的区域。待处理区域设置部件产生关于摄得图像中的特定类型的拍摄主题图像的尺寸是小还是大的判定结果。如果判定结果指示出特定类型的拍摄主题图像的尺寸较小,则待处理区域设置部件使用拍摄主题图像的像素区域作为图像转换处理的待处理区域。作为替代,如果判定结果指示出特定类型的拍摄主题图像的尺寸较大,则待处理区域设置部件使用拍摄主题图像的像素区域作为待处理区域。
待处理区域设置部件产生关于摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像还是在自动执行的自动拍摄中摄取的图像的判定结果。如果判定结果指示出摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像,那么倘若摄得图像中的特定类型的拍摄主题图像的尺寸较小,则待处理区域设置部件使用该拍摄主题图像的像素区域作为图像转换处理的待处理区域。另一方面,如果判定结果指示出摄得图像是在自动拍摄中摄取的图像,那么倘若摄得图像中的特定类型的拍摄主题图像的尺寸较大,则待处理区域设置部件使用该拍摄主题图像的像素区域作为待处理区域。
摄得图像中的特定类型的拍摄主题图像是人的脸部的图像或者著作权作品的图像。
作为图像转换处理,转换部件执行将其像素区域被用作待处理区域的拍摄主题图像转换成无法识别或难以识别的图像的处理。作为图像转换处理的替代,转换部件执行利用另一图像来替换其像素区域被用作待处理区域的拍摄主题图像的处理。
作为图像转换处理的另一替代,转换部件执行以下处理:根据识别在其像素区域被用作待处理区域的脸部图像中示出其脸部的人的属性的结果或者识别该脸部的脸部表情的结果,利用另一图像来替换该脸部图像。
摄得图像获取部件具有成像单元,用于执行图像采集处理以获取拍摄对象的图像。成像单元具有通常包括充当成像器件的CCD或CMOS传感器的配置。
此外,摄得图像获取部件还具有通信单元,用于与外部装置执行通信以从外部装置获取并接收摄得图像。
此外,摄得图像获取部件还包括再现单元,用于从便携式记录介质再现信息,以作为从便携式记录介质再现信息的结果而获取摄得图像。
此外,图像处理装置还具有存储处理部件,用于执行存储处理,以存储作为由转换部件执行的处理的结果而生成的图像。
存储处理部件包括记录单元,用于将信息记录到记录介质上。记录单元执行存储处理,以将作为由转换部件执行的处理的结果而生成的图像存储到存储介质中。
此外,存储处理部件还包括通信单元,用于与外部装置执行通信。
在存储处理中,通信单元将作为由转换部件执行的处理的结果而生成的图像发送到外部装置。
此外,图像处理装置还具有图像输出部件,用于执行输出作为由转换部件执行的处理的结果而生成的图像的处理。
图像输出部件具有显示单元。在输出作为由转换部件执行的处理的结果而生成的图像的处理中,图像被输出到显示单元,以便显示图像。
此外,图像输出部件还具有通信单元,用于与外部装置执行通信。在输出作为由转换部件执行的处理的结果而生成的图像的处理中,通信单元将图像发送到外部装置。
此外,图像输出部件包括记录单元,用于将信息记录到便携式记录介质上。在输出作为由转换部件执行的处理的结果而生成的图像的处理中,记录单元将图像记录到便携式存储介质中。
根据本发明的另一实施例,提供了一种图像处理方法,包括:
摄得图像获取步骤,该步骤获取摄得图像;
待处理区域设置步骤,该步骤对在摄得图像获取步骤中获取的摄得图像执行分析,并且如果分析的结果指示出在摄得图像中存在特定类型的拍摄主题图像,则根据拍摄主题图像的尺寸,将所述摄得图像中的拍摄主题图像的像素区域用作图像转换处理的待处理区域;以及
转换步骤,该步骤对其像素区域被用作待处理区域的拍摄主题图像执行图像转换处理,以生成作为图像转换处理的结果的图像。
也就是说,根据本发明,按如下方式在拍摄中摄取的图像中设置图像转换处理的待处理区域。例如,从拍摄中摄取的图像中提取出特定类型的拍摄主题图像,并且基于拍摄主题图像的大小产生判定结果,即关于所提取出的特定类型的拍摄主题图像是否要被用作图像转换处理的待处理区域的判定结果。特定类型的拍摄主题图像的示例是人的脸部的图像或者著作权作品的图像。然后,摄得图像中包括的作为脸部区域或者著作权作品区域的小区域被用作图像转换处理的待处理区域。作为替代,相反地,摄得图像中包括的作为脸部区域或者著作权作品区域的大区域被用作待处理区域。
此外,在既能执行手动拍摄又能执行自动拍摄的图像采集装置的情况下,在手动拍摄中摄取的图像中包括的作为脸部区域或者著作权作品区域的小区域被用作图像转换处理的待处理区域。另一方面,在自动拍摄中摄取的图像中包括的作为脸部区域或者著作权作品区域的大区域被用作待处理区域。手动拍摄是通常以用户执行的快门操作所确定的定时来执行的拍摄。另一方面,自动拍摄是以用户所不知晓的自动方式执行的拍摄。
在图像转换处理中,转换部件执行将其像素区域被用作待处理区域的拍摄主题图像转换成无法识别或难以识别的图像的处理。作为图像转换处理的替代,转换部件执行利用另一图像来替换其像素区域被用作待处理区域的拍摄主题图像的处理。设想将其像素区域被用作待处理区域的拍摄主题图像转换成无法识别或难以识别的图像的处理的示例是马赛克生成处理、柔焦处理、图像加密处理(也称为图像加扰处理)以及向脸部图像添加眼睛线条等等的处理。另一方面,设想在图像替换处理中,其像素区域被用作待处理区域的脸部(或著作权作品)的图像被替换为漫画图像(animation image)或多种其他图像中的任何一种。
根据本发明,根据拍摄主题图像的大小,对通常在拍摄中摄取的整个图像中包括的作为特定类型的拍摄主题图像的特定局部图像执行图像转换处理。如前所述,特定类型的拍摄主题图像的示例是人的脸部的图像或者著作权作品的图像。在图像转换处理中,转换部件执行将其像素区域被用作待处理区域的拍摄主题图像转换成无法识别或难以识别的图像的处理。作为图像转换处理的替代,转换部件执行利用另一图像来替换拍摄主题图像的处理。结果,可以对摄得图像执行用户不具体知晓的适当图像处理。
例如,用户在手动拍摄中摄取的图像通常包括充当主要拍摄对象的期望的人的图像。但是,在这种情况下,另一个人等等的图像可能无意间被摄取到主要拍摄对象的背景中,从而可能产生问题。在这种情况下,应当对背景中包括的作为另一人的脸部图像的小图像执行马赛克生成处理等等。
此外,作为自动拍摄(其中用户不知晓快门操作)的结果而获得的图像可以包括用户不想要的作为人的脸部或著作权作品的图像的大图像。在这种情况下,应当对用户不知晓的大图像执行马赛克生成处理等等。根据本发明,可以实现这种图像处理。
附图说明
图1A是示出根据本发明实施例的设计为眼镜型相机的图像采集装置的外部视图的示图;
图1B是示出根据本发明实施例的设计为单边眼镜型相机的图像采集装置的外部视图的示图;
图1C是示出与公知的数字相机具有相同配置的图像采集装置的示图;
图1D是示出与公知的摄像机具有相同配置的图像采集装置的示图;
图2是示出根据本发明实施例的图像采集装置的框图;
图3是示出根据本发明实施例的数据结构的说明图,其中摄得图像和转换后图像被存储在存储器中;
图4A是示出仅由充当独立装置的图像采集装置执行的操作的示图;
图4B是示出图像采集装置中使用的通信部件与外部装置之间的典型通信的示图;
图4C是示出图像采集装置中使用的通信部件与外部装置之间通过网络的典型通信的示图;
图5A是示出用户在手动拍摄中摄取的、作为充当期望拍摄对象的特定的人的脸部的图像的典型图像的说明图;
图5B是示出待处理区域ARi的说明图,其中每个待处理区域ARi是无意间包括在图5A所示的摄得图像中的脸部图像的像素区域;
图5C是示出对图5B所示的每个待处理区域ARi执行的作为图像转换处理的马赛克生成处理的结果的说明图;
图6A是示出用户在自动拍摄中摄取的、作为充当期望拍摄对象的特定的人的脸部的图像的典型图像的说明图;
图6B是示出待处理区域ARi的说明图,其中每个待处理区域ARi是无意间包括在图6A所示的摄得图像中的脸部图像的像素区域;
图6C是示出对图6B所示的每个待处理区域ARi执行的作为图像转换处理的马赛克生成处理的结果的说明图;
图7示出了表示根据实施例的图像分析/转换部件所执行的处理的流程图;
图8示出了表示在图7所示的流程图所表示的处理中的一个步骤中根据实施例执行来确定待处理区域的处理的流程图;
图9示出了表示在图7所示的流程图所表示的处理中的一个步骤中根据实施例执行来确定待处理区域的其他处理的流程图;
图10示出了表示在图7所示的流程图所表示的处理中的一个步骤中根据实施例执行来确定待处理区域的另外的处理的流程图;
图11是示出根据脸部图像的属性和脸部表情来选择各自用作成年女性的脸部图像的替代物的漫画图像的典型处理的各种图;
图12是示出根据脸部图像的属性和脸部表情来选择各自用作男性儿童的脸部图像的替代物的漫画图像的典型处理的各种图;
图13示出了表示在图7所示的流程图所表示的处理中的一个步骤中根据实施例执行来确定待处理区域的另外的处理的流程图;
图14示出了表示在图7所示的流程图所表示的处理中的一个步骤中根据实施例执行的图像转换处理的流程图;
图15A示出了表示根据实施例由图像采集装置执行的操作过程的流程图;
图15B示出了表示根据实施例由图像采集装置执行的另一操作过程的流程图;
图15C示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;
图15D示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;
图16A示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;
图16B示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;
图16C示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;
图16D示出了表示根据实施例由图像采集装置执行的另外的操作过程的流程图;以及
图17是示出构成本发明提供的作为图像采集装置的图像处理装置的元件的配置的说明图。
具体实施方式
下面的描述说明实现本发明所提供的图像处理装置和图像处理方法的实施例。在下面的描述中,图像采集装置被作为图像处理装置的示例。应当注意,稍后的描述说明了允许本发明提供的图像处理装置被实现为除图像采集装置之外的其他装置的典型修改和/或典型扩展。
在按以下顺序排列的章节中说明该图像采集装置:
1:图像采集装置的典型外部视图
2:图像采集装置的典型配置
3:典型图像处理
4:图像分析/转换部件的处理
5:根据人类属性/脸部表情的处理
6:除脸部图像之外的其他处理对象
7:典型操作过程
8:实施例的效果、典型修改和典型扩展
1:图像采集装置的典型外部视图
根据本发明实施例的图像采集装置1可具有多种可设想的配置,其中的典型配置在图1A、1B、1C和1D中示出。
图1A是示出设计为眼镜型相机的图像采集装置1的示图。图像采集装置1通常具有安装单元,该安装单元具有半圈框架结构,该结构从用户头部一侧绕头的后部半周到达头部的另一侧。如图中所示,用户通过将半圈框架结构放在耳廓上来佩戴该图像采集装置1。
在图像采集装置1如图1A所示被用户佩戴的情况下,图像采集装置1的图像摄取透镜3a朝着前方,以允许图像采集装置1通过将用户的视线方向设置为图像摄取方向来摄取拍摄对象的图像。
此外,在图像采集装置1被如图1A所示安装的情况下,分别为右眼和左眼提供的一对右显示面板单元和左显示面板单元2a分别被放置在右眼和左眼正前方的位置。也就是说,在图像采集装置1的这个状态下,该对右显示面板单元和左显示面板单元2a被放置在普通眼镜的位置。每个显示面板单元2a通常是液晶面板。通过控制显示面板单元2a的透射率,可以建立如图所示的穿透状态。也就是说,可以建立透明状态或半透明状态。在显示面板单元2a被置于穿透状态的情况下,用户可以就好像佩戴着一付眼镜那样毫不困难地进行日常活动。
应当注意,可以不为右眼和左眼分别提供一对右显示面板单元和左显示面板单元2a,而是可以构想只为一只眼睛提供一个显示面板单元2a。
与图1A很相似,图1B是示出安装在用户头部的图像采集装置1的示图。但是,在图1B所示的图像采集装置1的情况下,图像采集装置1具有排除图1A所示的显示面板单元2a的配置。通常,用户通过将安装单元放在一只耳朵的耳廓上来将图像采集装置1佩戴在头部。在这个状态下,图像采集装置1的图像摄取透镜3a朝着前方,以允许图像采集装置1通过将视线方向设置为图像摄取方向来摄取拍摄对象的图像。
如上所述,图1A和1B分别示出了利用眼镜型或头部安装型安装单元来安装在用户头上的图像采集装置1。但是,安装单元可具有被用户用来佩戴图像采集装置1的许多可构想的结构中的任何一种。图像采集装置1中使用的安装单元的典型的可构想结构包括允许用户佩戴图像采集装置1的头戴式耳机型、颈圈型和耳后安装型结构。此外,图像采集装置1通常还可利用诸如夹子之类的附接装置附接到一付普通的眼镜、普通的帽舌或普通的头戴式耳机上,以便用户佩戴图像采集装置1。但是,图像采集装置1不必被安装在用户头上。
此外,即使上述图像采集装置1具有以用户的视线方向作为图像摄取方向的配置,图像采集装置1也可具有另一种配置,其中当图像采集装置1被用户佩戴时图像摄取透镜3a朝着例如用户的后方、侧面、上方或者下方,使得后方、侧面、上方或下方被作为图像摄取方向。此外,还可以构想出包括具有相同图像摄取方向或不同图像摄取方向的多个拍摄系统的配置。
此外,还可以提供可变图像摄取方向机构,其能够为一个图像摄取透镜3a或多个图像摄取透镜3a手动或自动将方向改变为朝着拍摄对象。
图1C是示出与公知的数字相机具有相同配置的图像采集装置1的示图。另一方面,图1D是示出与公知的摄像机具有相同配置的图像采集装置1的示图。
图1C和1D中各自示出的作为用户可携带的装置的图像采集装置1各自也是本发明的实施例。即使每幅图仅仅示出了作为图像采集装置1的组件的图像摄取透镜3a,图像采集装置1还使用了用于监视拍摄对象的诸如面板显示单元之类的显示设备以及取景器。
应当注意,除了图1A、1B、1C和1D所示的图像采集装置1外,其他实施例当然也可构想为用于拍摄静态图像或记录电影的图像采集装置。例如,其他实现方式包括手机、PDA(个人数字助理)和便携式个人计算机。具有图像采集装置的功能的装置也可被假定为根据本发明实施例的图像采集装置1。
此外,这些实施例通常可使用麦克风来接收外部声源所生成的声音。从而,利用这样的麦克风,图像采集装置1能够接收模拟信号,该模拟信号将与拍摄中所摄取的图像一起被记录在存储器中。此外,还可以为每个实施例提供声音输出单元,例如扬声器和耳机。
此外,还可以设想为每个实施例提供这样一种配置,该配置在图像摄取透镜3a的附近使用照明单元,作为用于为拍摄对象照明的单元。照明单元的示例是LED(发光二极管)。此外,还可以构想为每个实施例提供这样一种配置,该配置在图像摄取透镜3a附近使用闪光生成单元,作为用在拍摄中以摄取静止拍摄对象的图像的单元。
2:图像采集装置的典型配置
通过参考图2来说明图像采集装置的典型配置。
系统控制器10通常是使用CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)、非易失性存储器单元和接口单元的微计算机。系统控制器10是用于控制图像采集装置1中使用的所有其他部件的控制部件。在系统控制器10中,CPU执行预先存储在ROM内部的程序,通过总线13与其他部件交换控制信号以驱动每个其他部件执行必要的操作。
成像部件3使用成像光学系统、成像器单元和成像信号处理单元。
成像部件3中使用的成像光学系统包括透镜系统和用于驱动透镜系统执行聚焦操作和变焦操作的驱动系统。透镜系统具有图1所示的图像摄取透镜3a、光圈、变焦透镜和聚焦透镜。
成像部件3中使用的成像器单元包括固态成像器阵列,用于检测成像光学系统输出的成像光束并且执行光电转换处理以将成像光束转换为成像信号。固态成像器阵列的示例是CCD(电荷耦合器件)传感器阵列和CMOS(互补金属氧化物半导体)传感器阵列。
成像部件3中使用的成像信号处理单元包括采样-保持/AGC(自动增益控制)电路和视频A/D(模/数)转换器。采样-保持/AGC电路是用于对成像器单元输出的信号的增益进行调整并且对信号的波进行成形的电路。视频A/D转换器是用于将采样-保持/AGC电路所输出的模拟信号转换成代表成像光学系统在拍摄中摄取的图像的数字数据的电路。此外,成像信号处理单元对摄得图像执行诸如白平衡处理、亮度处理、颜色信号处理和手颤补偿处理之类的处理。
从而,如上所述,使用成像光学系统、成像器单元和成像信号处理单元的成像部件3执行成像处理并且生成在拍摄中摄取的图像。
作为成像部件3执行的成像处理的结果生成的图像被提供到成像控制部件6。根据系统控制器10所执行的控制,成像控制部件6执行将代表接收到的图像的数据的格式转换成预先确定的图像数据格式的处理。然后,根据操作状态,成像控制部件6将具有转换后格式的图像提供到图像分析/转换部件12、存储部件14、通信部件15和显示控制部件7。
此外,基于从系统控制器10接收的命令,成像控制部件6还执行包括以下各项的处理:控制成像部件3执行的成像操作的开启和关闭、控制驱动成像光学系统中使用的变焦和聚焦透镜、控制成像器单元的灵敏度和帧速率、控制成像信号处理单元执行的处理中使用的多种参数,以及设置执行的处理。
顺便说一下,可以使图像采集装置1既能执行手动图像采集操作又能执行自动图像采集操作。
手动图像采集操作被定义为为了摄取图像根据用户操作执行的图像采集操作。手动图像采集操作的示例是摄取静态图像的快门操作和摄取运动图像的启动操作。
另一方面,自动图像采集操作被定义为并非基于用户操作来确定图像采集定时而执行的图像采集操作。自动图像采集操作的示例是周期性的摄取图像的操作、基于除用户故意生成的触发之外的其他触发的图像采集操作以及只要电源处于接通状态就稳定地摄取图像的操作。也就是说,自动图像采集操作可以说是在用户并不知晓的定时摄取图像的操作。
在手动图像采集操作的情况下,当用户故意在下文将描述的操作输入部件11上执行操作时,系统控制器10向成像控制部件6给出成像命令。
另一方面,在自动图像采集操作的情况下,系统控制器10周期性地或者基于检测到的除用户故意生成的触发之外的其他触发而向成像控制部件6给出成像命令。
图1A、1B、1C和1D所示的图像采集装置1各自是用于执行手动图像采集操作的适当装置。但是,图1A和1B所示的图像采集装置1各自还是用于执行自动图像采集操作以便摄取用户所表现的日常行为的地点的图像的适当装置。
应当注意,本发明的每个实施例还被设想为实现仅用于执行手动图像采集操作或者仅用于执行自动图像采集操作的图像采集装置1。
图像分析/转换部件12是用于对图像采集装置1在拍摄中摄取的图像执行分析和转换处理并且输出作为转换处理的结果而获得的图像的单元。
例如,图像分析/转换部件12分析成像部件3所输出的摄得图像,以检测图像中的待处理区域。摄得图像中的待处理区域被定义为在分析之后将被如下进一步处理的区域。图像分析/转换部件12对摄得图像中的特定类型的拍摄主题图像执行图像转换处理,以生成转换后图像。经历图像转换处理的拍摄主题图像的像素区域被用作检测到的待处理区域。在下面的描述中,这样的拍摄主题图像被称为检测到的待处理区域中的拍摄主题图像。图像转换处理的示例是马赛克生成处理、柔焦处理、加密处理(也称为加扰处理)和向脸部图像添加眼睛线条等等的处理。
作为图像转换处理的替代,图像分析/转换部件12还可执行图像替换处理,以用另一图像来替换待处理区域中的拍摄主题图像。例如,待处理区域中的脸部(或著作权作品)的图像被替换为漫画图像或多种其他图像中的任何一种。
应当注意,用于替换待处理区域中的拍摄主题图像的诸如漫画图像之类的其他图像已被预先存储在图像分析/转换部件12中使用的存储器12a中。存储器12a通常是ROM或者闪存。但是,还可以构想用从存储部件14(将在下文描述)读出的或者由通信部件15(也将在下文描述)接收的另一图像来替换待处理区域中的拍摄主题图像。
如上所述,被图像分析/转换部件12处理的图像通常是由成像部件3输出的作为静止或运动图像的图像。但是,被图像分析/转换部件12处理的图像也可以是以不同方式获得的图像。
更具体而言,图像采集装置1可接收由外部图像采集装置摄取的图像。在这种情况下,图像采集装置1中使用的通信部件15直接从外部图像采集装置或通过服务器接收外部图像采集装置所摄取的图像。
作为替代,外部图像采集装置所摄取的图像被记录在便携式记录介质上,并且当便携式记录介质被安装在图像采集装置1上时,存储部件14在获取图像的处理中再现图像。在这种情况下,设想存储部件14具有从便携式记录介质再现图像的功能。
从而,由通信部件15从外部图像采集装置接收的或者由通信部件15在再现处理中从便携式记录介质读出的图像可被当作将被图像分析/转换部件12处理的图像来对待。
图像分析/转换部件12通常可由充当视频处理器的微处理器或DSP(数字信号处理器)构成。在图2所示的图像采集装置1中,图像分析/转换部件12被示为在物理上与系统控制器10分开的模块;图像分析/转换部件12的功能也可通过执行在系统控制器10中调用的软件来执行。
图像分析/转换部件12执行的确定图像转换处理的待处理区域的处理和图像转换处理将在下文详细描述。
图像采集装置1的配置包括显示部件2和显示控制部件7,这些部件是用于向用户显示信息的单元。显示部件2使用显示面板单元2a和用于驱动显示面板单元2a的显示驱动单元。如前所述,显示面板单元2a通常是液晶面板。
显示驱动单元是用于在显示面板单元2a(通常是液晶面板)上显示由成像控制部件6输出的图像的像素驱动电路。具体地说,为了在显示面板单元2a上显示由成像控制部件6输出的图像,像素驱动电路基于代表图像的视频信号向布置在显示面板单元2a上形成矩阵的每个像素施加驱动信号。像素驱动电路在预先为每个像素确定的水平/垂直驱动定时向该像素施加驱动信号。
基于系统控制器10所执行的控制,显示控制部件7驱动显示部件2中使用的像素驱动电路,以在显示面板单元2a上示出预先确定的显示。通常,预先确定的显示是作为由成像部件3执行的图像摄取监视的结果而获得的图像、作为由存储部件14对图像记录介质执行的再现处理的结果而获得的图像、由通信部件15从外部来源接收的图像或者各种字符的显示。
此外,为了在显示面板单元2a上示出这种显示,显示控制部件7通常执行各种处理,例如调整显示的亮度级别、显示对比度和图像锐度的处理以及颜色校正处理。
此外,根据从系统控制器10接收的命令,显示控制部件7控制显示部件2中使用的像素驱动电路,以控制显示面板单元2a中使用的每个像素的透射率。这样,可以建立穿透状态(透明状态或半透明状态)。
存储部件14是用于存储诸如摄得图像和图像分析/转换部件12所生成的转换后图像之类的各种数据的单元。存储部件14可由诸如RAM或闪存之类的固态存储器或者HDD(硬盘驱动器)构成。
作为替代,存储部件14可以是用于将数据记录到诸如存储卡、光盘、磁盘、磁光盘或全息存储器之类的便携式记录介质上并从该介质再现数据的记录/再现驱动器。存储卡是具有嵌入的固态存储器的卡。
当然,存储部件14可被配置为既包括内部存储器,又包括用于便携式记录介质的记录/再现驱动器,所述内部存储器如上所述可为固态存储器或者由HDD(硬盘驱动器)驱动的硬盘。
基于系统控制器10所执行的控制,存储部件14将摄得图像和/或转换后图像存储在上述存储器中。此外,同样基于系统控制器10所执行的控制,存储部件14从存储器读出图像,将图像提供到其他部件,例如系统控制器10和/或显示控制部件7。
摄得图像和转换后图像是以如图3所示的数据结构存储在存储部件14中的。
首先,存储部件14存储摄得图像。存储在存储部件14中的该摄得图像通常是作为由成像部件3执行的图像采集处理的结果而获得的摄得图像、由通信部件15从外部装置接收的摄得图像或者由存储部件14从图像记录介质读出的摄得图像。在图3所示的示例中,存储d在存储部件14中的摄得图像是分别在数据结构的条目#1、#2、……、#n中的摄得图像VD1、VD2、……和VDn。此外,摄得图像VD1、VD2、……和VDn分别与多条图像管理信息C1、C2、……和Cn相关联,并且图像管理信息C1、C2、……和Cn被存储在存储部件14中的数据结构中。分配给摄得图像VDi的图像管理信息Ci通常包括摄得图像VDi的文件名、摄得图像VDi的类型、摄得图像VDi的数据大小、摄得图像VDi的压缩方法以及标识出用于摄取摄得图像VDi的装置的标识(变量i代表从1至n的整数)。摄得图像VDi的类型指示摄得图像VDi是静止图像还是运动图像。此外,分配给摄得图像VDi的图像管理信息Ci还可包括摄取图像VDi的成像日期/时间和在成像日期/时间摄取图像VDir的成像地点。通常,成像日期/时间表达为年、月、日、小时、秒的形式。由位置检测部件17在图像摄取日期/时间检测到的成像地点通常表达成经度和纬度的形式。
此外,分配给摄得图像VDi的图像管理信息Ci还可具体包括指示出图像VDi是在手动拍摄中摄取还是在自动拍摄中摄取的信息。如果图像VDi是利用例如图像采集装置1在自动拍摄中摄取的,则系统控制器10向图像管理信息Ci添加指示出图像VDi是在自动拍摄中摄取的信息,并将信息Ci存储在存储部件14中。当然,另一方面,如果图像VDi是在手动拍摄中摄取的,则系统控制器10向图像管理信息Ci添加指示出图像VDi是在手动拍摄中摄取的信息,然后将信息Ci存储在存储部件14中。
如图所示,通过将转换后图像cVDi与原始的摄得图像VDi关联起来,图像cVDi被存储在存储部件14中数据结构中,该原始摄得图像VDi被图像分析/转换部件12转换成图像cVDi。从而,通过将图像cVDi分别与原始摄得图像VD1、VD2、……和VDn关联起来,转换后图像cVD1、cVD2、……和cVDn被存储在存储部件14中的数据结构中。
具体地说,设想例如图像分析/转换部件12将摄得图像VD1转换成转换后图像cVD1。在这种情况下,通过将转换后图像cVD1与原始的摄得图像VD1关联起来,图像cVD1被存储在存储部件14中的数据结构中。
应当注意,一个摄得图像可被转换成多个转换后图像。在这种情况下,也通过将每个转换后图像与原始摄得图像相关联来将转换后图像存储在存储部件14中的数据结构中。
此外,在图3所示的示例中,摄得图像和转换后图像都被存储在存储部件14中。但是,可以构想提供这样一种配置,其中摄得图像不被存储在存储部件14中,也就是说只有转换后图像被存储在存储部件14中,或者提供这样一种配置,其中转换后图像不被存储在存储部件14中,也就是说只有摄得图像被存储在存储部件14中。
通信部件15是用于与外部装置执行通信以与该装置交换数据的单元。通信部件15可被配置为通过采用无线电LAN(局域网)方法、蓝牙方法等等,通过与(通常为)网络接入点进行短距离无线电通信来执行网络通信。作为替代,通信部件15与具有通信功能的外部装置执行直接无线电通信。
此外,与外部装置的通信不一定要是无线电通信。也就是说,通信部件15也可与通过利用通信线路连接到图像采集装置1的外部装置执行有线通信。
与通信部件15通信的外部装置可被假定为服务器、显示装置、另一图像采集装置或者存储装置。
此外,图像采集装置1还具有著作权作品数据库16。著作权作品数据库1 6用于存储诸如各种绘画、设计以及封装记录介质(例如CD和DVD)的封套图片之类的著名的著作权作品的图像。例如,绘画等等被包括在了在拍摄中摄取的图像中,作为拍摄主题图像。在这种情况下,将在摄得图像中包括的作为拍摄主题图像的绘画与存储在著作权作品数据库16中的注册图像相比对,以产生关于绘画是否是著名的著作权作品的判定结果,也就是说判定是否有必要对绘画执行图像转换处理。
著作权作品数据库16通常是固态存储器,例如闪存或者由HDD驱动的硬盘。作为替代,著作权作品数据库16可被配置为用于驱动便携式记录介质的记录/再现驱动器。此外,著作权作品数据库16是与图2所示的图像采集装置1中的存储部件14在物理上分开的单元。可以不使著作权作品数据库16与存储部件14物理上分开,而是将存储部件14中的图像记录介质的一个区域分配给否则将存储在著作权作品数据库16中的著作权作品图像。
图像采集装置1还使用了将被用户操作以输入信息的操作输入部件11。操作输入部件11被配置为具有诸如按键和度盘之类的操作器件。在这种配置中,用户对按键执行的操作被检测。作为替代,操作输入部件11被配置为检测用户故意表现的行为。如果操作输入部件11被配置为具有操作器件,则用户操作按键以例如接通或关断电源、驱动成像系统或执行与显示相关的操作。通常,成像系统被驱动以执行快门操作、变焦操作或输入信号处理命令的操作。与显示相关的操作的示例是选择显示的内容的操作和调整显示的操作。
此外,可以提供触摸垫和/或触摸板来作为操作器件。例如,在显示部件2上提供了触摸板。在这种情况下,用户执行的触摸在显示部件2上显示的屏幕的操作被认为是输入信息的操作。
此外,可以提供触摸板、方向键、摇杆等等,来充当将被用户操作以在屏幕上移动指针(例如光标)的操作器件。作为替代,可以提供包括诸如角速度传感器或加速度传感器之类的嵌入器件的遥控器。在这种情况下,用户将遥控器握在手中,并且操作遥控器以在屏幕上移动指针(例如光标)。
如果考虑例如图1C或1D所示的图像采集装置1,则诸如操作键、度盘和触摸板之类的操作器件是将被用户操作来执行各种操作的适当器件。
另一方面,如果图1A或1B所示的图像采集装置1被用作将安装在头上的装置,则可以提供诸如操作键、度盘和触摸板之类的操作器件,或者可以设想利用遥控器的配置。但是,如果考虑到提供多个操作器件的困难,那么提供一种检测用户行为并将该行为当作操作输入的配置将会是适当的。
在用于检测用户表现的行为的配置的情况下,可以构想提供诸如加速度传感器、角速度传感器、振动传感器和压力传感器之类的传感器。例如,当用户轻轻敲击图像采集装置1的侧表面,从而产生滴答声时,用户的行为被诸如加速度或振动传感器之类的传感器所检测,并且如果检测到的水平加速度超过例如预先确定的值,则系统控制器10将用户的行为检测为操作。此外,加速度或角速度传感器能够产生关于图像采集装置1的侧部是否被用户在左或右方向上敲击的判断结果。在这种情况下,在左或右方向上敲击图像采集装置1的侧部的用户行为可被认为是预先确定的操作。图像采集装置1的侧部指的是一付眼镜的杆部。
此外,旋转或摇动头部的用户行为被加速度或角速度传感器所检测,并且被系统控制器10识别为用户执行的操作。
此外,通常在图像采集装置1的左侧部和右侧部(即一付眼镜的左杆和右杆)提供压力传感器。在这种情况下,当用户利用例如手指来按压图像采集装置1的右侧部时,用户的行为通常被认为是远焦方向(telescopicdirection)上的变焦操作。另一方面,当用户利用手指来按压图像采集装置1的左侧部时,用户的行为通常被认为是广角方向(pantoscopicdirection)上的变焦操作。
此外,还可以提供包括生物传感器的配置。在这种配置中,生物传感器检测用户的生物信息,并且检测到的信息被认为是操作输入。生物信息包括脉搏数、心跳数、心电图、肌电图、呼吸信息、排汗信息、GSR(皮肤电反应)、血压、血氧饱和浓度、皮肤表面温度、脑电波信息、血压变化和眼睛状态。呼吸信息包括呼吸率、呼吸深度和呼吸量。脑电波是α、β、θ和δ波。
然后,系统控制器10将生物传感器所检测的信息识别为用户输入的操作输入。例如,眼睛的运动可被认为是用户故意表现的行为。眼睛运动的示例是视线变化和眨眼。检测到的用户表现出的眨眼三次的行为通常被确定为特定的操作输入。此外,还可以提供这样一种配置,其中检测到的生物信息可被解释为用户采取的将图像采集装置1安装在头上或者从头部去除图像采集装置1的动作或者特殊用户采取的将图像采集装置1安装在头上的动作。当用户采取的将图像采集装置1安装在头上的动作被检测到时,系统控制器10接通电源。另一方面,当用户采取的从头部去除图像采集装置1的动作被检测到时,系统控制器10关断电源。
应当注意,可以在眼镜型图像采集装置1的安装框架部分的内部提供生物传感器。在这种配置中,当用户触摸头部的侧部或其后部时,生物传感器能够检测关于用户采取的多种动作的信息。作为替代,还可以提供一种配置,其中生物传感器被附着到用户身体的预定位置,与图像采集装置1的安装框架部分分开。
此外,还可以构想利用用于摄取用户眼睛图像的相机来检测任何一只眼睛的状态和/或运动或者检测其瞳孔的状态。
操作输入部件11向系统控制器10提供如上所述的关于由操作器件或传感器(例如加速度传感器、角速度传感器、振动传感器、生物测定传感器或压力传感器)检测到的动作和/或行为的信息。系统控制器10随后基于从操作输入部件11接收的信息来识别用户采取的动作或者用户表现出的行为。
应当注意,作为用于检测用户表现出的行为的机构,还可以提供另一种传感器。其他传感器的示例是用于检测用户语音的传感器和用于检测用户舌头运动的传感器。
以上被描述为图像采集装置1的配置的配置只是典型配置。可以构想根据图像采集装置1实际将要执行的操作和/或功能来向典型配置添加各种元件或者从典型配置中去除各种元件。
图4是示出图像采集装置1和外部装置执行的操作之间的典型关系的各种图。
具体而言,图4A是示出仅由充当独立装置的图像采集装置执行的操作的示图。仅由充当独立装置的图像采集装置1执行的操作的示例是将作为图像采集操作的结果而获得的摄得图像转换成另一图像的处理。仅由充当独立装置的图像采集装置1执行的操作的另一示例是将作为图像采集操作的结果而获得的摄得图像与转换后图像(作为图像转换处理的结果而获得的图像)一起存储在存储部件14中的处理。
仅由充当独立装置的图像采集装置1执行操作的另一示例是将存储部件14从便携式记录介质(例如光盘或存储卡)读出的摄得图像转换成另一图像的处理,如果存储部件14具用于从介质再现图像的再现单元的话。
图4B是示出图像采集装置1中使用的通信部件15与外部装置70之间的典型通信的示图。在这种情况下,除了如上所述的将作为图像采集操作的结果而获得的摄得图像转换成另一图像的处理之外,设想图像采集装置1还执行把通信部件15从外部装置70接收的图像转换成另一图像的处理。假定外部装置70也是图像采集装置,或者外部装置70存储由另一图像采集装置摄取的图像。在这种情况下,外部装置70可将图像发送到图像采集装置1。图像采集装置1中使用的通信部件15随后接收外部装置70发送的图像。从而,图像采集装置1可执行把通信部件15从外部装置70接收的图像转换成另一图像的处理。
此外,除了将作为图像采集操作的结果而获得的转换后图像存储在图像采集装置1中使用的存储部件14中之外,还可以构想图像采集装置1将转换后图像从通信部件15发送到外部装置70,以存储在外部装置70中使用的图像存储部件71中。
图像采集装置1与外部装置70之间的通信绝不限于无线电通信。也就是说,图像采集装置1与外部装置70之间的通信也可以是有线通信。
图4C是示出图像采集装置1中使用的通信部件15与外部装置70之间通过网络60(例如因特网)的典型通信的示图。在这种情况下,通信部件15需要具体具有用于接入网络60的通信接入功能。通常,这种配置中的通信的执行方式与图4B所示的通信相同。
除了因特网以外,网络60可以是多种可构想网络中的任何一种,例如手机通信网络、PHS通信网络、自组织网络和LAN,等等。
图4B和4C所示的外部装置70可被设想为具有与图2所示的图像采集装置1相同的配置。作为替代,外部装置70也可被设想为多种装置中的任何一种,例如具有通信功能的数据库服务器、个人计算机、视频播放器、摄像机、数字静态相机、具有成像功能的手机和PDA。具体而言,外部装置70可被设想为图像共享系统的服务器,该系统允许多种装置通过网络共享摄得图像。
3:典型图像处理
在此实施例中,图像分析/转换部件12执行将拍摄主题图像的像素区域作为图像转换处理的待处理区域的处理。拍摄主题图像是在拍摄中摄取的图像中包括的作为特定类型的拍摄主题图像的部分。图像分析/转换部件12随后执行图像转换处理,以将用作待处理区域的拍摄主题图像转换成另一图像。
在手动图像采集操作中,特定类型的拍摄主题图像的示例是人脸部图像。图像转换处理可以是图5或6所示的马赛克生成处理。
图5A是示出用户在手动拍摄中摄取的、作为充当期望拍摄对象的特定的人的脸部的图像的典型图像的说明图。摄得图像在该特定的人的背景中无意间包括了与该特定的人无关的人的脸部。
在如上所述的原始摄得图像的情况下,首先,图像分析/转换部件12使用每个不相关的人的脸部的像素区域来作为图像转换处理的待处理区域。待处理区域的确定方式如下。首先,原始摄得图像被分析,以确定原始摄得图像中人脸部的图像的存在,以作为特定类型的拍摄主题图像的存在,并且从原始摄得图像中提取出人脸部的图像。从而,从原始摄得图像中提取了每个脸部的图像。在图5A所示的原始摄得图像的情况下,从原始摄得图像中提取了三个人的脸部的图像。在下面的描述中,脸部的图像也被称为脸部图像。然后,计算每个提取出的脸部图像的尺寸。在这种情况下,从原始摄得图像提取出的图像的尺寸是提取出的脸部图像的面积。取代脸部图像的面积,可以将跨脸部图像绘出的对角线的长度作为脸部图像的尺寸。
然后,图像分析/转换部件12产生关于每个脸部图像的尺寸是大还是小的判定结果。如果判定结果指示出脸部图像的尺寸较小,则脸部图像的像素区域被用作图像转换处理的待处理区域。图5B是示出待处理区域的说明图,其中每个待处理区域是脸部图像的像素区域。如图所示,待处理区域是两个人的脸部的图像,其中每一个在原始摄得图像中都具有较小的脸部图像尺寸。
如上所述,检查每个脸部图像的尺寸以产生关于每个脸部图像的尺寸是大还是小的判定结果。具体地说,将每个脸部图像的面积或者跨脸部图像绘出的对角线的长度与预先确定的阈值相比较,以产生关于面积或长度是否等于或小于阈值的判定结果。在这种情况下,脸部图像的面积是存在于脸部图像中的像素的数目。如果判定结果指示出面积或长度等于或小于阈值,则脸部图像被认为是小脸部图像,并且脸部图像的像素区域被用作图像转换处理的待处理区域。
作为替代,不利用预定确定的阈值来进行比较,而是使用原始摄得图像中的脸部图像中的具有最大面积或者最长对角线的脸部图像。具体地说,将脸部图像的面积或者跨脸部图像绘出的对角线的长度分别与最大面积或最长对角线相比较。如果脸部图像的面积或者跨脸部图像绘出的对角线的长度分别远小于最大面积或者最长对角线,则该脸部图像被认为是小脸部图像,并且该脸部图像的像素区域被用作图像转换处理的待处理区域。例如,如果脸部图像的面积或者跨脸部图像绘出的对角线的长度分别不大于最大面积或者最长对角线的1/2倍,则脸部图像被认为是小脸部图像,并且脸部图像的像素区域被用作图像转换处理的待处理区域。
如果在原始摄得图像中存在根据如上所述产生的判定结果而被认为是小脸部图像的脸部图像,则很有可能该脸部图像是存在于用户期望作为拍摄对象的人的背景中的人的脸部的图像。存在于期望的人的背景中的人是与期望的人不相关的人,但在图像采集操作中被无意间拍摄。换言之,很有可能不相关的人的脸部的图像已经在未经该人同意的情况下被无意间包括在了原始摄得图像中。
如上所述,根据如上所述产生的判定结果而被认为是原始摄得图像中的小脸部图像的脸部图像的像素区域被作为图像转换处理的待处理区域ARi,该图像转换处理通常是马赛克生成处理。然后,图像分析/转换部件12对以这种方式确定的每个待处理区域ARi执行马赛克生成处理,从而生成如图5C所示的转换后图像。
图6A是示出用户在利用图像采集装置1执行的自动拍摄中摄取的、作为拍摄对象的图像的典型图像的说明图。也就是说,典型图像通常是利用图1A或1B所示的图像采集装置1在用户不知晓的定时周期性地摄取的图像。由于以这种方式周期性地使用图像采集装置1,与期望拍摄对象不相关的人和用户在许多情况下经过彼此。在这种情况下,该人的脸部的图像被无意间包括在摄得图像中。
在如上所述的原始摄得图像的情况下,首先,图像分析/转换部件12使用每个不相关的人的脸部的像素区域作为图像转换处理的待处理区域ARi。待处理区域ARi的确定方式如下。首先,原始摄得图像被分析,以确定原始摄得图像中人脸部的图像的存在,以作为特定类型的拍摄主题图像的存在,并且从原始摄得图像中提取出人脸部的图像。从而,从原始摄*得图像中提取了每个脸部的图像。在图6A所示的原始摄得图像的情况下,从原始摄得图像中提取了三个人的脸部的图像。然后,计算每个提取出的脸部图像的尺寸。在这种情况下,从原始摄得图像提取出的图像的尺寸是提取出的脸部图像的面积。取代脸部图像的面积,可以将跨脸部图像绘出的对角线的长度作为脸部图像的尺寸。
然后,图像分析/转换部件12产生关于每个脸部图像的尺寸是大还是小的判定结果。如果判定结果指示出脸部图像的尺寸较大,则脸部图像的像素区域被用作图像转换处理的待处理区域ARi。图6B是示出待处理区域的说明图,该待处理区域ARi是脸部图像的像素区域。如图所示,待处理区域ARi是在原始摄得图像中具有较大的脸部图像尺寸的一个人的脸部的图像。
如上所述,检查每个脸部图像的尺寸以产生关于每个脸部图像的尺寸是大还是小的判定结果。具体地说,将每个脸部图像的面积或者跨脸部图像绘出的对角线的长度与预先确定的阈值相比较,以产生关于面积或长度是否等于或小于阈值的判定结果。在这种情况下,脸部图像的面积是存在于脸部图像中的像素的数目。如果判定结果指示出面积或长度等于或大于阈值,则脸部图像被认为是大脸部图像,并且脸部图像的像素区域被用作图像转换处理的待处理区域ARi。
作为替代,不利用预定确定的阈值来进行比较,而是使用整个原始摄得图像的尺寸或跨整个原始摄得图像绘出的对角线的长度。具体地说,将脸部图像的面积或者跨脸部图像绘出的对角线的长度分别与整个图像的图像或者跨整个原始摄得图像绘出的对角线的长度相比较。如果脸部图像的面积或者跨脸部图像绘出的对角线的长度分别远大于整个图像的面积或者跨整个原始摄得图像绘出的对角线的长度,则该脸部图像被认为是大脸部图像,并且该脸部图像的像素区域被用作图像转换处理的待处理区域ARi。例如,如果脸部图像的面积或者跨脸部图像绘出的对角线的长度至少等于整个图像的面积或者跨整个原始摄得图像绘出的对角线的长度的1/6倍,则脸部图像被认为是大脸部图像,并且脸部图像的像素区域被用作图像转换处理的待处理区域ARi。
如果在原始摄得图像中存在根据如上所述产生的判定结果而被认为是大脸部图像的脸部图像,则很有可能该脸部图像是用户不期望作为拍摄对象的人的脸部的图像。不希望的人是与期望拍摄对象不相关的人,但在自动拍摄中被无意间拍摄。换言之,很有可能不相关的人的脸部的图像已经在未经该人同意的情况下被无意间包括在了原始摄得图像中。由于不相关的人的脸部的图像较大,因此该人很容易被识别为某个个体,而如果该原始摄得图像被公之于众,则很有可能会发生图像权利问题。
在这种情况下,根据如上所述产生的判定结果而被认为是原始摄得图像中的大脸部图像的脸部图像的像素区域被作为图像转换处理的待处理区域ARi,该图像转换处理通常是马赛克生成处理。然后,图像分析/转换部件12对以这种方式确定的每个待处理区域ARi执行马赛克生成处理,从而生成如图6C所示的转换后图像。
在图5和6所示的典型原始摄得图像的情况下,对每个待处理区域ARi执行了作为图像转换处理的马赛克生成处理。但是,应当注意,图像转换处理绝不限于马赛克生成处理。也就是说,存在各种图像转换处理。
作为根据该实施例的图像转换处理,图像分析/转换部件12将其像素区域被用作待处理区域的特定类型拍摄主题图像转换成无法识别或难以识别的图像。拍摄主题图像的示例是人的脸部的图像。作为这种图像转换处理的替代,图像分析/转换部件12执行处理以将其像素图像被用作待处理区域ARi的拍摄主题图像替换为另一图像。在任一种情况下,作为处理的结果都隐藏了实际的特定类型的拍摄主题图像。
将其像素区域被用作待处理区域的特定类型拍摄主题图像转换成无法识别或难以识别的图像的处理可以是除马赛克生成处理之外的其他处理。除马赛克生成处理之外的其他处理的示例是柔焦处理和图像加密处理(也被称为加扰处理)。柔焦处理是将其像素区域被用作待处理区域的特定类型拍摄主题图像转换成模糊图像的处理,该模糊图像是散焦的图像。图像加密处理是使拍摄主题图像不可见的处理。除马赛克生成处理之外的其他处理的另一可构想示例是执行来通过在人的脸部图像的眼睛位置添加黑线来隐藏脸部图像中示出的脸部的眼睛的处理。这样,可以使原始摄得图像中示出的人的成为无法识别的个体。
此外,在用另一图像来替换待处理区域中的拍摄主题图像的典型处理中,脸部的图像或者著作权作品的图像被替换为漫画图像或多种图像中的任何一种。
4:图像分析/转换部件的处理
根据系统控制器10发出的命令,图像分析/转换部件12执行处理以从被该命令指定为待处理图像的摄得图像生成转换后图像。下而的描述说明了图像分析/转换部件12所执行的提取输入摄得图像中包括的脸部图像、使用所提取的脸部图像作为待处理区域ARi并且对区域ARi执行预定的处理以生成转换后图像的典型处理。如前所述,技术术语“待处理区域ARi”被定义为在预定处理中将要处理的区域。
图7示出了表示图像分析/转换部件12根据从系统控制器10接收的命令而执行的典型处理的流程图。
系统控制器10执行控制以将待处理的摄得图像传送到图像分析/转换部件12并且向图像分析/转换部件12发送命令以根据图7所示的流程图来处理图像。通常,传送到图像分析/转换部件12的摄得图像是由成像部件3在拍摄中摄取的图像。作为替代,传送到图像分析/转换部件12的摄得图像是由通信部件15从外部装置接收的摄得图像或者由存储部件14从图像记录介质读出的摄得图像。
接收到待处理的待处理区域后,图像分析/转换部件12从步骤F101到步骤F102,继续图7所示的流程图所表示的处理。
在步骤F102,图像分析/转换部件12分析摄得图像以确定摄得图像中的多个待处理区域ARi。待处理区域ARi的数目被存储在变量N中。
在步骤F102执行的处理被实现为根据图8、9或10所示的流程图的典型处理。
图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理由图8所示的流程图表示为开始于步骤F200的流程图。在步骤F200,图像分析/转换部件12分析摄得图像以从摄得图像中提取脸部图像FC或多个脸部图像FC1至FCm。然后,在下一步骤F201,图像分析/转换部件12将代表从摄得图像提取的脸部图像的数目的脸部图像计数m存储在变量M中。随后,在下一步骤F202,图像分析/转换部件12将变量Y设为1并将变量X设为0。变量Y是用于控制此流程图所表示的处理中的循环的执行的变量。另一方面,变量X代表各自具有不超过阈值SZth1的尺寸SZ的脸部图像的数目。然后,在下一步骤F203,图像分析/转换部件12产生关于变量M是否等于0(即M=0 ?)的判定结果。指示出变量M等于0的判定结果意味着未从摄得图像中提取出脸部图像FC,也就是说在摄得图像中未检测到脸部图像FC。在这种情况下,此流程图所表示的处理的流程继续进行到步骤F210,在该步骤中变量X的值被设置在代表待处理区域ARi的数目的变量N中。由于在此情况下变量X的值为0,因此变量N被设置为0(N=0)。
另一方面,指示出变量M等于或大于1的判定结果意味着已经从摄得图像中提取出一个或多个脸部图像FC。在这种情况下,此流程图所表示的处理的流程继续进行到步骤F204至F207,在这些步骤中图像分析/转换部件12对每个脸部图像FC执行预先确定的处理,同时对于由这些步骤构成的每个循环,在步骤F209将变量Y递增1。
首先,在步骤F204,图像分析/转换部件12计算脸部图像FC(Y)的尺寸并且将尺寸存储在变量SZ中。最初,Y的值为1(Y=1)。从而,图像分析/转换部件12计算第一个提取出的脸部图像FC(1)或FC1的尺寸。如前所述,脸部图像的尺寸被定义为脸部图像的面积或者跨脸部图像绘出的对角线的长度。脸部图像的面积可被解释为脸部图像中包括的像素的数目。
然后,在下一步骤F205A,图像分析/转换部件12将计算出的脸部图像FC(Y)的尺寸SZ与阈值SZth1相比较(即SZ≤SZth1?),以产生关于脸部图像FC(Y)是具有小尺寸还是大尺寸的脸部图像的判定结果。如果判定结果指示计算出的脸部图像FC(Y)的尺寸SZ等于或小于阈值SZth1(即SZ≤SZth1),也就是说脸部图像FC(Y)是具有小尺寸的脸部图像,则脸部图像FC(Y)的像素区域被确定为是被指定为待处理区域ARi的区域。在这种情况下,此流程图所表示的处理的流程继续进行到步骤F206,在该步骤中图像分析/转换部件12将变量X递增1。然后,在下一步骤F207,脸部图像FC(Y)的像素区域被指定为待处理区域ARi(X)。
另一方面,如果在步骤F205A处执行的处理中产生的判定结果指示计算出的脸部图像FC(Y)的尺寸SZ大于阈值SZth1(即SZ>SZth1),也就是说脸部图像FC(Y)是具有大尺寸的脸部图像,则步骤F206和F207的处理不被执行。也就是说,脸部图像FC(Y)的像素区域不被指定为待处理区域ARi。
在这种情况下,此流程图所表示的处理的流程继续进行到步骤F208,在该步骤中图像分析/转换部件12将指示接下来要处理的脸部图像FC的变量Y与代表在步骤F201处执行的处理中提取出的作为待处理的脸部图像FC的脸部图像FC的数目的变量M相比较。图像分析/转换部件12将变量Y与变量M相比较(M≤Y?),以产生有关以下判定结果:是否到了应当结束将在步骤F201处执行的处理中提取出的每个脸部图像FC指定为待处理区域ARi的处理的时候。如果判定结果指示出变量Y小于变量M(Y<M),即至少还剩有一个脸部图像FC需要处理,则此流程图所表示的处理的流程继续进行到步骤F209,在该步骤中图像分析/转换部件12将变量Y递增1。然后,此流程图所表示的处理的流程返回到步骤F204。例如,如果图像分析/转换部件12在步骤F209处执行的处理中已将变量Y递增到2,此时,在步骤F204至F208中,脸部图像FC(2)或者FC2经历与脸部图像FC1相同的处理。
当在步骤F204至F208中执行的将在步骤F201处执行的处理中提取出的每个脸部图像FC指定为待处理区域ARi的处理结束时,在步骤F208处执行的处理中产生的判定结果指示出变量Y等于变量M(即Y=M)。在这种情况下,此流程图所表示的处理的流程继续进行到步骤F210。在步骤F210,变量X的值被设置在代表待处理区域ARi的数目的变量N中。这是因为变量X代表各自在步骤F207处执行的处理中被指定为待处理区域ARi的脸部图像FC的数目。
通过执行图8所示的流程图所表示的处理,具有小尺寸的每个脸部图像FC被指定为待处理区域ARi,如图5B所示。
另一方面,图9所示的流程图表示适合于图像采集装置1执行自动图像采集操作的典型处理。图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理由图9所示的流程图表示为开始于步骤F200的流程图。应当注意,图9所示的流程图中包括的步骤F200至F204和F206至F210分别与图8所示的流程图中包括的相应步骤F200至F204和F206至F210相同。两幅流程图之间的唯一差异是图9所示的流程图中包括的步骤F205B与图8所示的流程图中包括的步骤F205A之间的差异。
也就是说,在步骤F205B,图像分析/转换部件12将计算出的脸部图像FC(Y)的尺寸SZ与阈值SZth2相比较(即SZ≥SZth2?),以产生关于脸部图像FC(Y)是具有小尺寸还是大尺寸的脸部图像的判定结果。如果判定结果指示计算出的脸部图像FC(Y)的尺寸SZ等于或大于阈值SZth2(即SZ≥SZth2),也就是说脸部图像FC(Y)是具有大尺寸的脸部图像,则脸部图像FC(Y)的像素区域被确定为是被指定为待处理区域ARi的区域。在这种情况下,此流程图所表示的处理的流程继续进行到步骤F206,在该步骤中图像分析/转换部件12将变量X递增1。然后,在下一步骤F207,脸部图像FC(Y)的像素区域被指定为待处理区域ARi(X)。
另一方面,如果在步骤F205B处执行的处理中产生的判定结果指示计算出的脸部图像FC(Y)的尺寸SZ小于阈值SZth2(即SZ<SZth2),也就是说脸部图像FC(Y)是具有小尺寸的脸部图像,则步骤F206和F207的处理不被执行。也就是说,脸部图像FC(Y)的像素区域不被指定为待处理区域ARi。
通过执行图9所示的流程图所表示的处理,具有大尺寸的每个脸部图像FC被指定为待处理区域ARi,如图6B所示。
图10所示的流程图表示适合于图像采集装置1执行手动图像采集操作和自动图像采集操作两者的典型处理。
图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理由图10所示的流程图表示为开始于步骤F250的流程图。应当注意,图10所示的流程图中包括的步骤F200至F204和F206至F210分别与图8所示的流程图中包括的相应步骤F200至F204和F206至F210相同。
在步骤F250,图像分析/转换部件12产生关于提供到图像分析/转换部件12的作为待处理图像的摄得图像是作为手动拍摄的结果还是作为自动拍摄的结果而摄取的图像的判定结果。例如,在图像分析/转换部件12从成像控制部件6接收的作为由于拍摄而获得的图像的摄得图像的情况下,系统控制器10通知图像分析/转换部件12摄得图像是作为手动拍摄的结果或者自动拍摄的结果而摄取的图像。
在图像分析/转换部件12从存储部件14接收的作为由于再现图像的操作而获得的图像的摄得图像的情况下,图像分析/转换部件12检查摄得图像的图像管理信息以产生关于摄得图像是作为手动拍摄的结果还是自动拍摄的结果而摄取的图像的判定结果。
在图像分析/转换部件12从通信部件15接收的作为与图像管理信息一起来自外部装置的图像的摄得图像的情况下,图像分析/转换部件12检查图像管理信息以产生关于摄得图像是作为手动拍摄的结果还是自动拍摄的结果而摄取的图像的判定结果。
如果图像分析/转换部件12在步骤F250处执行的处理中产生的判定结果指示出摄得图像是作为自动拍摄的结果而摄取的图像,则此流程图所表示的处理的流程继续进行到步骤F251,在该步骤中图像分析/转换部件12设置自动拍摄标志。
然后,在下一步骤F200,图像分析/转换部件12执行从摄得图像中提取脸部图像FC的处理,并且在下一步骤F201,图像分析/转换部件12初始化变量M。随后,在下一步骤F202,图像分析/转换部件12初始化变量Y和X。
在表示典型处理的此流程图的步骤F204中,图像分析/转换部件12在使处理继续进行到步骤F252之前计算脸部图像FC(Y)的尺寸,在步骤F252中,图像分析/转换部件12关生关于自动拍摄标志处于开(on)状态还是关(off)状态的判定结果。
如果判定结果指示出自动拍摄标志处于关状态,说明正被处理的摄得图像是作为手动拍摄的结果而获得的图像,则此流程图所表示的处理的流程继续进行到步骤F254,在该步骤中图像分析/转换部件12将计算出的脸部图像FC(Y)的尺寸SZ与阈值SZth1相比较(即SZ≤SZth1?),以产生关于脸部图像FC(Y)是否是具有小尺寸的脸部图像的判定结果。另一方面,如果判定结果指示出自动拍摄标志处于开状态,说明正被处理的摄得图像是作为自动拍摄的结果而获得的图像,则此流程图所表示的处理的流程继续进行到步骤F253,在该步骤中图像分析/转换部件12将计算出的脸部图像FC(Y)的尺寸SZ与阈值SZth2相比较(即SZ≥SZth1 ?),以产生关于脸部图像FC(Y)是否是具有大尺寸的脸部图像的判定结果。
如果在步骤F254处执行的处理中产生的判定结果指示计算出的脸部图像FC(Y)的尺寸SZ等于或小于阈值SZth1(即SZ≤SZth1),则此流程图所表示的处理的流程继续进行到步骤F206和F207,在这些步骤中图像分析/转换部件12将脸部图像FC(Y)的像素区域指定为待处理区域ARi。
同理,如果在步骤F253处执行的处理中产生的判定结果指示计算出的脸部图像FC(Y)的尺寸SZ等于或大于阈值SZth2(即SZ≥SZth2),则此流程图所表示的处理的流程继续进行到步骤F206和F207,在这些步骤中图像分析/转换部件12将脸部图像FC(Y)的像素区域指定为待处理区域ARi。
也就是说,通过执行图10所示的流程图所表示的处理,由手动拍摄产生的摄得图像中包括的作为具有小尺寸的脸部图像FC的每个脸部图像FC被指定为如图5B所示的待处理区域ARi。另一方面,由自动拍摄产生的摄得图像中包括的作为具有大尺寸的脸部图像FC的每个脸部图像FC被指定为如图6B所示的待处理区域ARi。
应当注意,在对所有提取出的脸部图像FC执行的处理已经完成之后,由图10所示的流程图表示的处理继续进行到步骤F210,在该步骤中变量X被设置在代表待处理区域ARi的数目的变量N中。然后,在下一步骤F255,自动拍摄标志被关闭。
如上所述,图8、9或10所示的流程图表示图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理的细节。从而,在图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理中确定一个待处理区域ARi或多个待处理区域ARi之后,图像分析/转换部件12使处理继续进行到同一流程图的步骤F103。
在步骤F103,图像分析/转换部件12产生关于代表待处理区域ARi的数目的变量N是否等于0(即N=0?)的判定结果。如前所述,经历关于N=?的判定处理的变量N已在图8、9或10所示的流程图中包括的步骤F21 0处被设置。设置为0的变量N(或者N=0)指示出在原始摄得图像中未确定出待处理区域ARi。如果在原始摄得图像中未检测出脸部图像,即如果未从原始摄得图像中提取出脸部图像,则变量N被设置为0。如果在图8或10所示的流程图所表示的处理中处理的、作为由于手动拍摄而获得的原始摄得图像的原始摄得图像中不存在具有小尺寸的脸部图像FC,变量N也被设置为0。同理,如果在图9或10所示的流程图所表示的处理中处理的、作为由于自动拍摄而获得的原始摄得图像的原始摄得图像中不存在具有大尺寸的脸部图像FC,变量N也被设置为0。
在任一种情况下,设置为0的变量N(或者N=0)都指示出在原始摄得图像中未确定出待处理区域ARi。在这种情况下,由图7所示的流程图表示的处理的流程继续进行到步骤F110,在该步骤中图像分析/转换部件12通知系统控制器10无法从当前处理的摄得图像生成转换后图像。
如果确定了一个或多个待处理区域ARi,则图像分析/转换部件12使由此流程图表示的处理继续进行到步骤F104,在该步骤中变量X被设置为1(X=1)。
然后,在下一步骤F105,图像分析/转换部件12对由变量X指示的待处理区域ARi(X)执行图像转换处理,以生成转换后图像。
图像转换处理可以是马赛克生成处理、柔焦处理、图像加密处理(也称为图像加扰处理)或者用漫画图像或多种其他图像中的任何一种来替换其像素区域被用作待处理区域ARi(X)的拍摄主题图像的处理。如果图像分析/转换部件12执行用漫画图像或多种其他图像中的任何一种来替换其像素区域被用作待处理区域ARi(X)的拍摄主题图像的处理,则图像分析/转换部件12从存储器12a读出替换图像并且使用从存储器12a读出的图像来作为部分图像的替换。
当在步骤F105处执行的处理中其像素区域被用作待处理区域ARi(X)的拍摄主题图像被用替换图像来替换之后,此流程图所表示的处理的流程继续进行到步骤F106,在该步骤中图像分析/转换部件12将变量X与代表待处理区域ARi的数目的变量N相比较(X≥N?),以产生关于是否已经完成了处理摄得图像中的所有待处理区域ARi的处理的判定结果。
如果判定结果指示出在摄得图像中仍剩有待处理区域ARi要处理(即如果X<N),则此流程图所表示的处理的流程继续进行到步骤F107,在该步骤中图像分析/转换部件12将变量X递增1。然后,此流程图所表示的处理的流程返回到步骤F105,以用与前一待处理区域ARi(X-1)相同的方式来处理下一待处理区域ARi(X)。
另一方面,如果判定结果指示出在摄得图像中没有更多要处理的待处理区域ARi(即如果X=N),则此流程图所表示的处理的流程继续进行到步骤108。此时,其像素区域被用作待处理区域ARi的每个拍摄主题图像已经经历了生成如图5C或6C所示的转换后图像的图像转换处理。从而,在步骤F108,根据系统控制器10发出的命令,图像分析/转换部件12输出如上所述生成的转换后图像。
通常,图像分析/转换部件12将转换后图像输出到显示控制部件7,显示控制部件7随后在显示部件2上显示图像。作为另一示例,图像分析/转换部件12将转换后图像输出到通信部件15,通信部件15随后将图像发送到外部装置70。作为又一示例,图像分析/转换部件12将转换后图像输出到存储部件14,存储部件14随后以如图3所示的数据结构将图像存储在存储器。作为替代,存储部件14将转换后图像存储在便携式记录介质中。但是,在这种情况下,存储部件14需要具有用于将转换后图像记录到便携式记录介质上的记录/再现单元。
如上所述,图像分析/转换部件12执行确定待处理区域ARi的处理以及将其像素区域被用作待处理区域ARi的每个拍摄主题图像转换成另一图像以生成转换后图像的图像转换处理。
应当注意,如果摄得图像是静止图像,则只有一帧的图像需要经历确定待处理区域ARi的处理和图像转换处理。另一方面,在运动图像的情况下,构成运动图像的每一帧都需要经历确定待处理区域ARi的处理和图像转换处理。
5:根据人类属性/脸部表情的处理
顺便说一下,取代执行马赛克生成处理或者其他处理来作为步骤F105的图像转换处理,可以设想执行一个处理来利用另一图像替换其像素区域被用作待处理区域ARi的每个拍摄主题图像(例如脸部图像)。在这种情况下,可以构想出提供图像替换处理,以分析脸部图像中示出的图像的属性和/或脸部表情并根据分析结果利用漫画图像来替换脸部图像。
人的人类属性包括人的性别和年龄。在下面的描述中,人类属性被简称为属性。已知可以执行一个处理来分析脸部图像中示出的、作为人的脸部的脸部的属性和/或脸部表情,以在一定的概率下正确地识别出人的性并估计人的年龄段。此外,对脸部的图像执行的分析的结果也可用来估计脸部的脸部表情。
有多种可构想的用来确定脸部的脸部表情的处理。例如,根据典型的脸部表情确定处理中采用的一种技术,提取构成脸部的多个部分并且为每个提取出的部分赋予一个评估值。然后,将评估值的总和用来确定脸部的脸部表情。
例如,在识别笑脸的处理中,从脸部的脸部图像提取出的部分包括眼睛、眉毛和嘴唇。然后,估计每只眉毛的角度形式。所谓的眉毛抬升状态被赋予较低的评估分数。也就是说,眉毛两端的位置越低,赋予眉毛的评估分数就越高。对于眼睛,则检查瞳孔的打开状态。瞳孔的打开状态越宽,赋予眼睛的评估分数就越高。此外,嘴唇的两个边缘下拉的位置越低,赋予嘴唇的评估分数就越低。另一方面,嘴唇的两个边缘上升的位置越高,赋予嘴唇的评估分数就越高。
将用于确定脸部的带笑状态的评估分数赋予从脸部提取出的每个部分,然后找出赋予所有提取出的部分的评估分数的总和。如果必要,通过将每个评估分数乘以预先为该评估分数确定的权重来找出评估分数的加权和。然后将总和或加权和用作用于确定脸部的带笑状态的笑脸分数。也就是说,较高的笑脸分数指示出脸部处于带笑状态。
当然,以上用于确定脸部的带笑状态的技术只不过是典型技术。例如,脸部形成的皱纹也可用作用于确定脸部的带笑状态的要素。
此外,除了确定带笑状态之外,还可以通过对从表现出脸部表情的脸部提取出每个部分的图像进行评估来产生关于脸部表情是否表达愤怒、脸部表情是否表达不快或者脸部表情是否表达另一种情绪的判定结果。
如上所述,通过分析其像素区域被用作待处理区域ARi的脸部图像来识别出该脸部图像的属性和/或脸部表情,并且根据识别出的属性和/或识别出的脸部表情来选择将要用作用来替换脸部图像的图像的漫画图像。然后,可以构想,漫画图像被用作脸部图像的替代物。
图11和12各自是示出根据脸部图像的脸部表情来选择各自用作脸部图像的替代物的漫画图像的典型处理的各种图。
图11的左侧示出了三个脸部图像,其中每个图像都是作为拍摄成年女性的操作的结果而获得的。三个脸部图像分别表现出正常脸部表情、笑脸表情和愤怒脸部表情。
另一方面,同一幅图的右侧示出了准备用作左侧示出的相应脸部图像的替代物的漫画图像。漫画图像是分别表现出正常脸部表情、笑脸表情和愤怒脸部表情的成年女性的脸部的三个图像。
此外,图12的左侧示出了三个脸部图像,其中每个图像都是作为拍摄男性儿童的操作的结果而获得的。三个脸部图像分别表现出正常脸部表情、笑脸表情和愤怒脸部表情。
另一方面,同一幅图的右侧示出了准备用作左侧示出的相应脸部图像的替代物的漫画图像。漫画图像是分别表现出正常脸部表情、笑脸表情和愤怒脸部表情的男性儿童的脸部的三个图像。
同理,还准备了可用作成年男性和女性儿童的脸部图像的替代物的多种漫画图像。但是,这些漫画未在图中示出。
例如,如果作为对其像素区域被用作待处理区域ARi的脸部图像的分析结果识别出了成年女性的笑脸,则选择图11右侧中间所示出的、作为为成年女性的笑脸准备的漫画图像的漫画图像,并且用所选择的漫画图像来替换实际脸部图像。
图13和14示出了表示如上所述的图像分析/转换部件12执行的典型处理的流程图。具体而言,图13示出了表示图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行的处理的细节的流程图。也就是说,图13所示的流程图所表示的处理可用作图8、9或10所示的流程图所表示的处理的替代物。另一方面,图14示出了表示图像分析/转换部件12在图7所示的流程图中包括的步骤F105处执行的处理的细节的流程图。
图13所示的流程图是通过将步骤F261至F263添加到图10所示的流程图而获得的流程图。步骤F250、F251、F200至F204、F252至F254、F206、F207、F208至F210和F255分别与图10所示的流程图中包括的它们的对应步骤相同。从而,不再重复对这些步骤的详细描述。
在图13所示的流程图所表示的处理的情况下,当在步骤F207处执行的处理中确定了待处理区域ARi(X)之后,执行步骤F261至F263的处理。
在步骤F261,图像分析/转换部件12分析其像素区域被用作待处理区域ARi(X)的脸部图像,以识别其脸部在脸部图像中示出的人的属性和脸部表情。也就是说,图像分析/转换部件12获得关于该人的性别、年龄和脸部表情的信息。
然后,在下一步骤F262,图像分析/转换部件12将关于该人的性别、年龄和脸部表情的信息存储在存储器12a中,作为属性/脸部表情数据DF(X)。
随后,在下一步骤F263,图像分析/转换部件12将其像素区域被用作待处理区域ARi(X)的脸部图像FC(Y)的尺寸SZ存储在存储器12a中,作为尺寸SZ(X)。如前所述,脸部图像FC(Y)的尺寸SZ是在步骤F204处执行的处理中计算出的尺寸。
在执行步骤F261至F263的处理之后,此流程图所表示的处理的流程继续进行到步骤F208。
在图13所示的流程图所表示的处理中,图像分析/转换部件12分析其像素区域被用作待处理区域ARi的每个脸部图像FC并且将属性/脸部表情数据DF(X)和脸部图像FC的尺寸SZ(X)临时存储在存储器12a中。
如果例如在步骤F207处执行的处理中只确定了一个待处理区域ARi(1),则图像分析/转换部件12存储属性/脸部表情数据DF(1)以及待处理区域AR(1)的尺寸SZ(1)。另一方面,如果在步骤F207处反复执行的处理中确定出了一三待处理区域ARi(1)、ARi(2)和ARi(3),则图像分析/转换部件12存储属性/脸部表情数据DF(1)、DF(2)和DF(3)以及待处理区域ARi(1)、ARi(2)和ARi(3)相应的尺寸SZ(1)、SZ(2)和SZ(3)。
在图像分析/转换部件12在图7所示的流程图中包括的步骤F102处执行图13所示的流程图所表示的处理之后,图7所示的流程图所表示的处理的流程继续进行到步骤F103。稍后,在图7所示的流程图中包括的步骤F105,图像分析/转换部件12执行图14所示的流程图所表示的处理,作为待处理区域ARi(X)的图像转换处理。
图14所示的流程图开始于步骤F105a,在该步骤中图像分析/转换部件12从存储器12a取得属性/脸部表情数据DF(X),并且基于数据DF(X)来选择漫画图像。通常,通过将漫画图像与性别、年龄段和脸部表情相关联,如图11和12右侧所示的多个漫画图像已被存储在存储器12a中。从而,如果属性/脸部表情数据DF(X)例如是如前所述的指示出成年女性的笑脸的数据,则与女性性别、成年女性的年龄段以及笑脸表情相关联的漫画图像被选择并从存储器12a中读出。
然后,在下一步骤F105b,图像分析/转换部件12将从存储器12a读出的漫画图像的尺寸aSZ调整到其像素区域被用作待处理区域ARi(X)的脸部图像FC的尺寸SZ(X)。也就是说,图像分析/转换部件12在图像缩小或放大处理中将尺寸aSZ乘以比率{SZ(X)/aSZ},以使得从存储器12a读出的漫画图像的尺寸aSZ等于其像素区域被用作待处理区域ARi(X)的脸部图像FC的尺寸SZ(X)。
最后,在最后一步F105c,图像分析/转换部件12利用具有调整后的尺寸的漫画图像的像素数据来替换待处理区域ARi(X)的像素数据。
从而,通过执行作为图7所示的流程图中包括的步骤F105的处理的步骤F105a、F105b和F105c的处理,其像素区域被用作待处理区域ARi(X)的脸部图像FC被替换为根据其脸部由脸部图像FC表示的人的性别、年龄段和脸部表情而选择的漫画图像,以生成转换后图像。
6:除脸部图像之外的其他处理对象
在以上描述中,存在于作为拍摄结果而获得的摄得图像中的脸部图像被从摄得图像中提取出来,作为特定类型的拍摄主题图像。然后,如果作为手动拍摄的结果而获得的脸部图像的尺寸被确定为小尺寸,则脸部图像的像素区域被用作待处理区域ARi。作为替代,如果作为自动拍摄的结果而获得的脸部图像的尺寸被确定为大尺寸,则脸部图像的像素区域被用作待处理区域ARi。
但是,从摄得图像提取出的将要用作用来确定待处理区域ARi的拍摄主题图像的特定类型拍摄主题图像绝不限于脸部图像。也就是说,存在除脸部图像之外的其他的多种可构想的特定类型的拍摄主题图像。
可构想的特定类型的拍摄主题图像包括被认为是著作权作品的绘画、工艺美术品、壁画、诸如CD或DVD之类的封装记录介质的封套、书的封面和书的内容。此外,品牌名称、标识语、商标等等也可被当作特定类型的拍摄主题图像。此外,车辆的车号牌、货币钞票等等也可被认为是特定类型的拍摄主题图像。
在下面的描述中,特定类型的拍摄主题图像被称为一般术语“著作权作品”。
如果上述的每种著作权作品在对摄得图像的分析中都被当作特定类型的拍摄主题图像,则必须识别出各自作为著作权作品而包括在摄得图像中的任何特定类型拍摄主题图像。具体地说,在图8、9和10所示的流程图的步骤F200中执行处理以不仅从摄得图像中检测和提取脸部图像FC,还检测和提取各自作为著作权作品而包括在摄得图像中的任何特定类型拍摄主题图像。然后,以与脸部图像FC相同的方式,基于被认为是著作权作品的特定类型拍摄主题图像的尺寸,将从摄得图像中提取出的作为特定类型的图像的拍摄主题图像确定为其像素区域被用作待处理区域ARi的图像。
在基于被认为是著作权作品的特定类型拍摄主题图像的尺寸将从摄得图像中提取出的作为特定类型的图像的拍摄主题图像确定为其像素区域被用作待处理区域ARi的图像之后,执行图7所示的流程图中包括的步骤F105的处理。在步骤F105处执行的处理中,被认为是著作权作品的特定类型拍摄主题图像经历马赛克生成处理、柔焦处理或者图像加密处理(也称为图像加扰处理)。作为替代,被认为是著作权作品的特定类型拍摄主题图像被替换为另一图像,例如漫画图像。
也就是说,如果图像分析/转换部件12能够从摄得图像中检测和提取出各自作为著作权作品而包括在摄得图像中的任何特定类型拍摄主题图像,则图像分析/转换部件12将能够以与脸部图像FC相同的方式,对从摄得图像中检测和提取出的每个特定类型拍摄主题图像执行图像转换处理。
在对作为拍摄结果而获得的摄得图像进行分析以确定摄得图像中著作权作品的存在的处理中,可以构想利用著作权作品数据库16。
著作权作品数据库16用于预先存储著作权作品的图像。如上所述,预先存储在著作权作品数据库16中的著作权作品包括绘画、工艺美术品、壁画、诸如CD或DVD之类的封装记录介质的封套、书的封面/品牌名称、标识语、商标和货币钞票。
例如,在由形成四边形(例如矩形(或者正方形)、长方形、梯形或平行四边形)的轮廓线包围的拍摄主题图像的情况下,仅仅从作为拍摄结果获得的原始摄得图像中提取出拍摄主题图像。四边形拍摄主题图像的示例是绘画和CD的封套。应当注意,一般来说,由于诸如图像摄取方向、拍摄的仰角和与拍摄对象的接近度之类的拍摄参数,像绘画或CD封套的情况那样由形成四边形(例如矩形(或正方形)或长方形)的轮廓线包围的拍摄主题图像在原始摄得图像中实际看起来是梯形或平行四边形。在这种情况下,可以按如下方式执行实际分析。首先,就从原始摄得图像中提取出这种梯形或这种平行四边形,并且根据包括作为道路、建筑物等的轮廓线的、形成在原始摄得图像上的整条轮廓线的状态在内的因素,估计诸如图像摄取方向和拍摄仰角之类的拍摄参数。然后,估计出的拍摄参数被用来估计真实拍摄主题的原始四边形形状。
在从原始摄得图像中提取出具有四边形形状的拍摄主题图像之后,将具有四边形形状的拍摄主题图像的图案与预先存储在著作权作品数据库16中的图像相比对。如果具有四边形形状的拍摄主题图像的图案与预先存储在著作权作品数据库16中的图像相匹配或相类似,则具有四边形形状的拍摄主题图像被认为是著作权作品。
此外,在诸如标识语、品牌名称、商标或货币钞票之类的特定类型拍摄主题的情况下,同样以与具有四边形形状的拍摄主题图像相同的方式,将特定类型的拍摄主题图像的图案与预先存储在著作权作品数据库16中的图像相比对,以估计原始的四边形形状。在诸如品牌名称或商标之类的特定类型拍摄主题的情况下,还可识别特定类型的拍摄主题中的字符并将其与预先存储在著作权作品数据库16中的字符相比对。
通过确保字符和数字被布置在车牌的四边形形状中预先确定的位置,即通过确保字符和数字形成车牌号特有的布局,可以确定车辆的车号牌。
7:典型操作过程
如上所述,图像分析/转换部件12确定待处理区域ARi并生成转换后图像。可以构想,存在大量的操作过程,根据实施例的图像采集装置1可执行这些操作过程以执行图像分析/转换部件12的处理。通过参考图15和16,以下的描述说明了图像采集装置1可根据系统控制器10执行的控制而执行的典型操作过程。根据这些操作过程中的任何一个的处理的每个步骤是由图像采集装置1的预定构件执行的。
首先,按如下方式执行图15A所示的操作过程。如图所示,该操作过程开始于步骤ST100,在该步骤中获取摄得图像。应当注意,在图15A、15B、15C和15D以及图16A、16B、16C和16D所示的操作过程中获取的摄得图像是由成像部件3作为拍摄的结果而获得的图像、由通信部件15从外部装置70接收的图像或者由存储部件14从图像记录介质读出的图像。
然后,在下一步骤ST101,在步骤ST100处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。图像分析/转换部件12对摄得图像执行的图像转换处理是前文参考图7所示的流程图所描述的处理。
然后,在下一步骤ST102,在步骤ST100处执行的处理中获取的摄得图像和作为由图像分析/转换部件12在步骤ST101处执行的图像转换处理的结果而获得的转换后图像被存储在存储部件14中。也就是说,摄得图像和转换后图像被存储在图3所示的数据结构的条目#n中。
按如下方式执行图15B所示的操作过程。如图所示,该操作过程开始于步骤ST110,在该步骤中获取摄得图像。然后,在下一步骤ST111,在步骤ST110处执行的处理中获取的摄得图像被存储在存储部件14中。随后,在下一步骤ST112,在步骤ST110处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST113,作为由图像分析/转换部件12在步骤ST112处执行的图像转换处理的结果而获得的转换后图像被存储在存储部件14中。从而,此时摄得图像和转换后图像被存储在图3所示的数据结构的条目#n中。
图15A和15B所示的操作过程各自是图像分析/转换部件12从摄得图像生成转换后图像并将摄得图像和转换后图像保存在存储部件14中的典型过程。
保存在存储部件14中的摄得图像和/或转换后图像可以在以后某时被从存储部件14取得并且被显示在显示部件2上,通过通信部件15被发送到外部装置70,或者被记录回安装在存储部件14上的便携式记录介质上。
通常,可以构想摄得图像被从存储部件14读出并被显示在显示部件2上。另一方面,可以构想转换后图像被从存储部件14读出并被发送到通常充当作为外部装置70的图像共享系统中使用的服务器的外部装置70。
按如下方式执行图15C所示的操作过程。如图所示,该操作过程开始于步骤ST120,在该步骤中获取摄得图像。然后,在下一步骤ST121,在步骤ST120处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST122,作为由图像分析/转换部件12在步骤ST121处执行的图像转换处理的结果而获得的转换后图像被输出。
应当注意,在图15C和15D以及图16A、16B和16D所示的操作过程中,输出转换后图像的处理是通过显示控制部件7在显示部件2上显示图像的处理、通过通信部件15将图像发送到外部装置70的处理以及通过存储部件14将图像记录到便携式记录介质上的处理,其中该存储部件14被设想具有用于将数据记录到记录介质上的记录/再现单元。
按如下方式执行图15D所示的操作过程。如图所示,该操作过程开始于步骤ST130,在该步骤中获取摄得图像。然后,在下一步骤ST131,在步骤ST130处执行的处理中获取的摄得图像被存储在存储部件14中。然后,在下一步骤ST132,在步骤ST130处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST133,作为由图像分析/转换部件12在步骤ST132处执行的图像转换处理的结果而获得的转换后图像被输出。
在以上参考图15C和15D说明的操作过程中,摄得图像和转换后图像都没有被保存到图像采集装置1中使用的存储部件14中的诸如HDD或固态存储器之类的内部图像记录介质中,而只有转换后图像被输出。
按如下方式执行图16A所示的操作过程。如图所示,该操作过程开始于步骤ST140,在该步骤中获取摄得图像。然后,在下一步骤ST141,在步骤ST140处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST142,在步骤ST140处执行的处理中获取的摄得图像和作为由图像分析/转换部件12在步骤ST141处执行的图像转换处理的结果而获得的转换后图像被存储在存储部件14中。随后,在下一步骤ST143,作为由图像分析/转换部件12在步骤ST141处执行的图像转换处理的结果而获得的转换后图像被输出。
按如下方式执行图16B所示的操作过程。如图所示,该操作过程开始于步骤ST150,在该步骤中获取摄得图像。然后,在下一步骤ST151,在步骤ST150处执行的处理中获取的摄得图像被存储在存储部件14中。随后,在下一步骤ST152,在步骤ST150处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST153,作为由图像分析/转换部件12在步骤ST152处执行的图像转换处理的结果而获得的转换后图像被存储在存储部件14中。随后,在下一步骤ST153,作为由图像分析/转换部件12在步骤ST152处执行的图像转换处理的结果而获得的转换后图像被输出。
在以上参考图16A和16B说明的操作过程中,所获得的摄得图像和所生成的转换后图像被保存到图像采集装置1中使用的存储部件14中的诸如HDD或固态存储器之类的内部图像记录介质中,并且只有转换后图像被输出。
按如下方式执行图16C所示的操作过程。如图所示,该操作过程开始于步骤ST160,在该步骤中获取摄得图像。然后,在下一步骤ST161,在步骤ST160处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。然后,在下一步骤ST162,作为由图像分析/转换部件12在步骤ST161处执行的图像转换处理的结果而获得的转换后图像被保存在存储部件14中。
按如下方式执行图16D所示的操作过程。如图所示,该操作过程开始于步骤ST170,在该步骤中获取摄得图像。然后,在下一步骤ST171,在步骤ST170处执行的处理中获取的摄得图像被提供到图像分析/转换部件12,图像分析/转换部件12随后对图像执行图像转换处理。随后,在下一步骤ST172,作为由图像分析/转换部件12在步骤ST171处执行的图像转换处理的结果而获得的转换后图像被存储在存储部件14中。然后,在下一步骤ST173,作为由图像分析/转换部件12在步骤ST171处执行的图像转换处理的结果而获得的转换后图像被输出。
在以上参考图16C和16D说明的操作过程中,作为由图像分析/转换部件12分别在步骤ST161或ST171执行的图像转换处理的结果而获得的转换后图像被保存到图像采集装置1中使用的存储部件14中的诸如HDD或半导体存储器之类的内部图像记录介质中,而摄得图像则未被保存。在以上参考图16C说明的操作过程的情况下,保存在存储部件14中的转换后图像可在以后某时被输出。另一方面,在以上参考图16D说明的操作过程的情况下,作为由图像分析/转换部件12在步骤ST171执行的图像转换处理的结果而获得的转换后图像被同时保存和输出。在以上参考图16C和16D说明的操作过程中,分别在步骤ST160或ST170获取的摄得图像既不被保存在存储部件14中,也不被输出。
但是,图像转换处理可能通常是加扰处理。在这种情况下,作为图像转换处理的结果而获得的转换后图像可被解扰,以生成原始摄得图像,然后原始摄得图像可被输出。这种方案适合于具有将要用来对转换后图像进行解扰的加密密钥的装置或者仅允许特定用户查看原始摄得图像的装置。
以上已经描述了图像采集装置1执行的典型操作。但是,可以构想图像采集装置1能够执行的多种其他操作。
8:实施例的效果、典型修改和典型扩展
根据上述实施例,在摄得图像中包括的作为特定类型拍摄主题图像的拍摄主题图像经历取决于拍摄主题图像的尺寸的适当的图像转换处理。如前所述,拍摄主题图像的示例是人的脸部的图像和著作权作品的图像。通常,执行图像转换处理以将拍摄主题图像转换成无法识别的图像或者难以识别的图像。作为图像转换处理的替代,可以执行另一处理以用另一图像来替换拍摄主题图像。这样,拍摄主题图像可以经历用户所不知晓的适当处理。
例如,用户在手动拍摄中摄取的图像通常包括充当主要拍摄对象的期望的人的图像。但是,在这种情况下,诸如另一个人之类的拍摄主题的图像可能无意间被摄取到主要拍摄对象的背景中,从而可能产生问题。具体而言,取决于摄得图像的使用方式,可能产生图像权利问题等等。例如,如果摄得图像被公之于众,则可能产生图像权利问题。在这种情况下,应当对背景中包括的特定类型拍摄主题图像执行马赛克生成处理等等。如前所述,特定类型的拍摄主题图像的示例是另一人的脸部的图像或者著作权作品的图像。
此外,作为自动拍摄(其中用户不知晓快门操作)的结果而获得的图像可以包括用户不想要的大图像。用户不想要的大图像通常是人的脸部或者著作权作品的大图像。在这种情况下,取决于摄得图像的使用方式,可能产生图像权利问题或著作权问题。为了解决该问题,应当对人或著作权作品的大图像执行马赛克生成处理等等。另一方面,如果人的脸部的图像太小以至于无法识别或者著作权作品的图像太小以至于作品内容无法识别,则可以按原样公开摄得图像,而不会产生任何问题。
如果执行图像转换处理以利用漫画图像来替换人的脸部的图像,则根据人的性别、年龄段和脸部表情来选择漫画图像。这样,可以避免图像权利等问题。此外,可以用有趣的漫画图像来替换人的脸部的图像。
但是,本发明的实现方式绝不限于这些实施例。也就是说,对于图像采集装置1的典型配置和图像采集装置1执行的典型处理,可以有多种可构想的修改版本和可构想的扩展。换言之,本发明提供的图像处理装置不仅可实现为图像采集装置1,还可以实现为除图像采集装置1外的多种其他装置中的任何一种。
图17是示出本发明提供的作为具有如下配置的装置的图像处理装置的示图,该配置包括系统控制器10、图像获取部件20、图像输出部件21、图像分析/转换部件12、存储处理部件22和插入图像存储部件18。本发明提供的图像处理装置可由具有图17所示的配置元件的装置来实现。具体而言,至少使用图像获取部件20和图像分析/转换部件12的装置可用作本发明提供的图像处理装置。此外,即使从图17所示的图像处理装置中去除图像输出部件21和存储处理部件22之一或者图像输出部件21和存储处理部件22两者,仍可以设想图像处理装置仍可用作根据本发明的图像处理装置。
图像获取部件20是用于获取将由图像分析/转换部件12处理的摄得图像的单元。图像获取部件20具有根据前文参考图2描述的实施例的图像采集装置1中使用的成像部件3和成像控制部件6、通信部件15和/或存储部件14的功能。如前所述,存储部件14是用于将诸如摄得图像之类的数据记录到诸如存储卡或光盘之类的便携式记录介质上并从介质再现数据的记录/再现驱动器。
此外,图像获取部件20所获取的摄得图像可以是静止图像或运动图像。
与早前描述实施例很相似,图像分析/转换部件12是用于执行确定待处理区域的处理和图像转换处理的单元。也就是说,图像分析/转换部件12是本发明的权利要求中描述的待处理区域设置装置和转换装置。
当然,用于对摄得图像执行分析以确定待处理区域的待处理区域设置装置和用于对待处理区域中的图像执行图像转换处理的转换装置通常是由作为物理上分开的单元的处理电路单元来实现的。
存储处理部件22是用于执行保存转换后图像的处理的构件。也就是说,存储处理部件22是与前述实施例中使用的存储部件14相对应的单元。但是,在图4B或4C所示的方案中的将被发送到外部装置70并被存储在外部装置70中使用的图像存储部件71中的摄得图像的情况下,存储处理部件22执行在前述实施例中用作发送摄得图像的单元的通信部件15的功能。当然,可通过无线电或有线通信将图像发送到外部装置70。
图像输出部件21是与在前述实施例中用作显示摄得图像的部件的显示部件2相对应的单元。此外,图像输出部件21也执行用于将转换后图像输出到用于显示图像的外部监视器装置的图像输出单元的功能。
此外,图像输出部件21还可根据图4B和4C所示的方案执行通信部件15的功能,用于执行无线电或有线通信以将转换后图像发送到外部装置70。
此外,图像输出部件21还执行记录驱动器的功能,用于将转换后图像记录到便携式记录介质上,该便携式记录介质用作用来将图像传送到外部装置的介质。
如上所述,可以设想很多种利用图像获取部件20、图像输出部件21和存储处理部件22的实现方式。通过考虑多种实现方式,本发明不仅可应用到诸如静态相机或摄像机之类的拍摄装置,还可应用到没有成像功能的装置。没有成像功能的装置的示例是监视显示装置、通信装置、图像保存装置和用于合成图像的图像编辑装置。
此外,本领域的技术人员应当理解,取决于设计要求和其他因素,可以进行各种修改、组合、子组合和变更,只要它们处于所附权利要求或其等同物的范围之内。
本发明包含与2007年3月19日向日本专利局提交的日本专利申请JP2007-070442相关的主题,这里通过引用将该申请的全部内容并入。
Claims (19)
1.一种图像处理装置,包括:
摄得图像获取装置,用于获取摄得图像;
待处理区域设置装置,用于对由所述摄得图像获取装置所获取的摄得图像执行分析,并且如果所述分析的结果指示出在所述摄得图像中存在特定类型的拍摄主题图像,则根据所述拍摄主题图像的尺寸,将所述摄得图像中的所述拍摄主题图像的像素区域用作图像转换处理的待处理区域;以及
转换装置,用于对其所述像素区域被用作所述待处理区域的所述拍摄主题图像执行所述图像转换处理,以生成作为所述图像转换处理的结果而获得的转换后图像,
其中,
所述待处理区域设置装置产生关于所述摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像还是在自动执行的自动拍摄中摄取的图像的判定结果;
如果所述判定结果指示出所述摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像,则所述待处理区域设置装置产生关于所述摄得图像中的特定类型的拍摄主题图像的尺寸是小还是大的判定结果,并且如果所述判定结果指示出所述特定类型的拍摄主题图像的所述尺寸较小,则所述待处理区域设置装置使用所述摄得图像中的所述特定类型的拍摄主题图像的像素区域作为图像转换处理的待处理区域;并且
如果所述判定结果指示出所述摄得图像是在自动拍摄中摄取的图像,则所述待处理区域设置装置产生关于所述摄得图像中的特定类型的拍摄主题图像的尺寸是小还是大的判定结果,并且如果所述判定结果指示出所述特定类型的拍摄主题图像的所述尺寸较大,则所述待处理区域设置装置使用所述摄得图像中的所述特定类型的拍摄主题图像的像素区域作为图像转换处理的待处理区域。
2.如权利要求1所述的图像处理装置,其中:
所述特定类型的拍摄主题图像的所述尺寸是各个脸部图像的面积或者跨脸部图像绘出的对角线的长度。
3.如权利要求1所述的图像处理装置,其中所述摄得图像中的所述特定类型的拍摄主题图像是人的脸部的图像。
4.如权利要求1所述的图像处理装置,其中所述摄得图像中的所述特定类型的拍摄主题图像是著作权作品的图像。
5.如权利要求1所述的图像处理装置,其中,作为所述图像转换处理,所述转换装置执行将其像素区域被用作所述待处理区域的所述拍摄主题图像转换成无法识别或难以识别的图像的处理。
6.如权利要求1所述的图像处理装置,其中,作为所述图像转换处理,所述转换装置执行利用另一图像来替换其像素区域被用作所述待处理区域的所述拍摄主题图像的处理。
7.如权利要求1所述的图像处理装置,其中,作为所述图像转换处理,所述转换装置执行以下处理:根据识别在其像素区域被用作所述待处理区域的脸部图像中示出其脸部的人的属性的结果或者识别所述脸部的脸部表情的结果,利用另一图像来替换所述脸部图像。
8.如权利要求1所述的图像处理装置,其中所述摄得图像获取装置包括成像单元,用于执行图像采集处理以获取拍摄对象的图像。
9.如权利要求8所述的图像处理装置,其中所述成像单元具有包括充当成像器件的电荷耦合器件或互补金属氧化物半导体传感器的配置。
10.如权利要求1所述的图像处理装置,其中所述摄得图像获取装置包括通信单元,用于与外部装置执行通信以从所述外部装置获取并接收摄得图像。
11.如权利要求1所述的图像处理装置,其中所述摄得图像获取装置包括再现单元,用于从便携式记录介质再现信息,以作为从所述便携式记录介质再现信息的结果而获取摄得图像。
12.如权利要求1所述的图像处理装置,还包括:
存储处理装置,用于执行存储处理,以存储作为由所述转换装置执行的处理的结果而生成的图像。
13.如权利要求12所述的图像处理装置,其中:
所述存储处理装置包括记录单元,用于将信息记录到记录介质上;并且
所述记录单元执行所述存储处理,以将作为由所述转换装置执行的处理的结果而生成的图像存储到所述记录介质中。
14.如权利要求12所述的图像处理装置,其中:
所述存储处理装置还包括通信单元,用于与外部装置执行通信;并且
在所述存储处理中,所述通信单元将作为由所述转换装置执行的处理的结果而生成的图像发送到所述外部装置。
15.如权利要求1所述的图像处理装置,还包括
图像输出装置,用于执行输出作为由所述转换装置执行的处理的结果而生成的图像的处理。
16.如权利要求15所述的图像处理装置,其中:
所述图像输出装置包括显示单元;并且
在所述输出作为由所述转换装置执行的处理的结果而生成的图像的处理中,所述图像被输出到所述显示单元,以便显示所述图像。
17.如权利要求15所述的图像处理装置,其中:
所述图像输出装置包括通信单元,用于与外部装置执行通信;并且
在所述输出作为由所述转换装置执行的处理的结果而生成的图像的处理中,所述通信单元将所述图像发送到所述外部装置。
18.如权利要求15所述的图像处理装置,其中:
所述图像输出装置包括记录单元,用于将信息记录到便携式记录介质上;并且
在所述输出作为由所述转换装置执行的处理的结果而生成的图像的处理中,所述记录单元将所述图像记录到所述便携式记录介质中。
19.一种图像处理方法,包括以下步骤:
获取摄得图像;
对所获取的摄得图像执行分析,并且如果所述分析的结果指示出在所述摄得图像中存在特定类型的拍摄主题图像,则根据所述拍摄主题图像的尺寸,将所述摄得图像中的所述拍摄主题图像的像素区域用作图像转换处理的待处理区域;以及
对其所述像素区域被用作所述待处理区域的所述拍摄主题图像执行所述图像转换处理,以生成作为所述图像转换处理的结果的转换后图像,
其中,在对所获取的摄得图像执行分析,并且如果所述分析的结果指示出在所述摄得图像中存在特定类型的拍摄主题图像,则根据所述拍摄主题图像的尺寸,将所述摄得图像中的所述拍摄主题图像的像素区域用作图像转换处理的待处理区域的步骤中:
产生关于所述摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像还是在自动执行的自动拍摄中摄取的图像的判定结果;
如果所述判定结果指示出所述摄得图像是在具有由手动操作设置的定时的手动拍摄中摄取的图像,则产生关于所述摄得图像中的特定类型的拍摄主题图像的尺寸是小还是大的判定结果,并且如果所述判定结果指示出所述特定类型的拍摄主题图像的所述尺寸较小,则使用所述摄得图像中的所述特定类型的拍摄主题图像的像素区域作为图像转换处理的待处理区域;并且
如果所述判定结果指示出所述摄得图像是在自动拍摄中摄取的图像,则产生关于所述摄得图像中的特定类型的拍摄主题图像的尺寸是小还是大的判定结果,并且如果所述判定结果指示出所述特定类型的拍摄主题图像的所述尺寸较大,则使用所述摄得图像中的所述特定类型的拍摄主题图像的像素区域作为图像转换处理的待处理区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007-070442 | 2007-03-19 | ||
JP2007070442A JP4424364B2 (ja) | 2007-03-19 | 2007-03-19 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101272457A CN101272457A (zh) | 2008-09-24 |
CN101272457B true CN101272457B (zh) | 2010-12-15 |
Family
ID=39908429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100843721A Expired - Fee Related CN101272457B (zh) | 2007-03-19 | 2008-03-19 | 图像处理装置和图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8107771B2 (zh) |
JP (1) | JP4424364B2 (zh) |
KR (1) | KR101426961B1 (zh) |
CN (1) | CN101272457B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI821889B (zh) * | 2022-01-27 | 2023-11-11 | 群光電子股份有限公司 | 影像擷取裝置及其應用的自動取景方法 |
Families Citing this family (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1935466B1 (en) * | 2005-09-15 | 2011-08-24 | Dentsu Inc. | Attraction system, and attraction providing method |
JP4853320B2 (ja) * | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP2008225550A (ja) * | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4396720B2 (ja) * | 2007-03-26 | 2010-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2009003334A (ja) * | 2007-06-25 | 2009-01-08 | Sony Corp | 画像撮像装置、撮像制御方法 |
CN101609501A (zh) * | 2008-06-20 | 2009-12-23 | 鸿富锦精密工业(深圳)有限公司 | 监控系统及其监控方法 |
JP2010108475A (ja) * | 2008-10-03 | 2010-05-13 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP5348682B2 (ja) * | 2008-11-17 | 2013-11-20 | Necビッグローブ株式会社 | 画像管理装置、その制御方法及びプログラム |
JP2010147808A (ja) * | 2008-12-18 | 2010-07-01 | Olympus Imaging Corp | 撮像装置および撮像装置における画像処理方法 |
JP2010226558A (ja) * | 2009-03-25 | 2010-10-07 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
WO2011007554A1 (ja) * | 2009-07-16 | 2011-01-20 | パナソニック株式会社 | アクセス制御装置、アクセス制御方法、プログラム、記録媒体及び集積回路 |
JP5423379B2 (ja) * | 2009-08-31 | 2014-02-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8698747B1 (en) | 2009-10-12 | 2014-04-15 | Mattel, Inc. | Hand-activated controller |
CN102044064A (zh) * | 2009-10-23 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 影像处理系统及方法 |
US8121618B2 (en) | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
US8175617B2 (en) | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
KR101591529B1 (ko) * | 2009-11-23 | 2016-02-03 | 엘지전자 주식회사 | 이동 통신 단말기에서의 데이터 처리 방법 및 이를 적용한 이동 통신 단말기 |
JP5269033B2 (ja) | 2009-12-18 | 2013-08-21 | 韓國電子通信研究院 | 映像のプライバシーマスキング方法及び装置 |
US8660355B2 (en) | 2010-03-19 | 2014-02-25 | Digimarc Corporation | Methods and systems for determining image processing operations relevant to particular imagery |
JP5310682B2 (ja) * | 2010-09-23 | 2013-10-09 | ブラザー工業株式会社 | カラオケ装置 |
JP5498341B2 (ja) * | 2010-09-30 | 2014-05-21 | 株式会社エクシング | カラオケシステム |
JP5406813B2 (ja) * | 2010-10-05 | 2014-02-05 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置およびパノラマ画像表示方法 |
JP2012168830A (ja) * | 2011-02-16 | 2012-09-06 | Casio Comput Co Ltd | 画像出力装置、画像出力方法及びプログラム |
JP2013069187A (ja) * | 2011-09-26 | 2013-04-18 | Dainippon Printing Co Ltd | 画像処理システム、画像処理方法、サーバおよびプログラム |
JP2013090101A (ja) * | 2011-10-17 | 2013-05-13 | Ricoh Co Ltd | 情報処理装置及び表示方法 |
CN102420940B (zh) * | 2011-11-16 | 2014-09-10 | 中兴通讯股份有限公司 | 一种具有摄像功能终端及其摄像头变焦方法 |
KR20130078676A (ko) * | 2011-12-30 | 2013-07-10 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US9148586B2 (en) * | 2012-02-10 | 2015-09-29 | Sony Corporation | Terminal apparatus for combining images from two different cameras based on detected sound |
JP5845988B2 (ja) * | 2012-03-16 | 2016-01-20 | 大日本印刷株式会社 | 画像処理システム、画像処理方法、サーバおよびプログラム |
JP5880182B2 (ja) * | 2012-03-19 | 2016-03-08 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
EP3185116B1 (en) * | 2012-05-09 | 2019-09-11 | Apple Inc. | Device, method and graphical user interface for providing tactile feedback for operations performed in a user interface |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
CN104471521B (zh) | 2012-05-09 | 2018-10-23 | 苹果公司 | 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面 |
WO2013169846A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying additional information in response to a user contact |
CN103533212A (zh) * | 2012-07-04 | 2014-01-22 | 腾讯科技(深圳)有限公司 | 一种图像合成方法和装置 |
KR101936802B1 (ko) * | 2012-07-20 | 2019-01-09 | 한국전자통신연구원 | 얼굴인식 기반의 개인정보보호 장치 및 방법 |
KR102000253B1 (ko) | 2012-12-29 | 2019-07-16 | 애플 인크. | 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
US8849064B2 (en) * | 2013-02-14 | 2014-09-30 | Fotonation Limited | Method and apparatus for viewing images |
US10075618B2 (en) | 2013-04-22 | 2018-09-11 | Sony Corporation | Security feature for digital imaging |
US9369662B2 (en) * | 2013-04-25 | 2016-06-14 | Microsoft Technology Licensing, Llc | Smart gallery and automatic music video creation from a set of photos |
US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
WO2016013858A2 (ko) * | 2014-07-21 | 2016-01-28 | 넥시스 주식회사 | 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 |
KR102224985B1 (ko) * | 2014-07-31 | 2021-03-10 | 넥시스 주식회사 | 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법 |
JP5968402B2 (ja) * | 2014-11-12 | 2016-08-10 | キヤノン株式会社 | 映像加工処理方法及びその装置 |
JP2016118991A (ja) * | 2014-12-22 | 2016-06-30 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
CN104735465B (zh) * | 2015-03-31 | 2019-04-12 | 北京奇艺世纪科技有限公司 | 在视频画面中植入平面图案广告的方法及装置 |
CN105046126B (zh) * | 2015-05-21 | 2018-11-16 | 努比亚技术有限公司 | 加密方法及电子设备 |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
KR102469694B1 (ko) * | 2015-08-24 | 2022-11-23 | 삼성전자주식회사 | 카메라를 구비하는 장치에서 사진 촬영 지원 기법 |
CN105120169B (zh) * | 2015-09-01 | 2019-10-29 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
WO2017088340A1 (zh) * | 2015-11-25 | 2017-06-01 | 腾讯科技(深圳)有限公司 | 图像信息处理方法、装置和计算机存储介质 |
JP6738008B2 (ja) * | 2015-12-28 | 2020-08-12 | キヤノンマーケティングジャパン株式会社 | 携帯端末と、その処理方法及びプログラム |
CN105809636A (zh) * | 2016-02-29 | 2016-07-27 | 北京小米移动软件有限公司 | 图像弱化方法及装置 |
KR102488563B1 (ko) * | 2016-07-29 | 2023-01-17 | 삼성전자주식회사 | 차등적 뷰티효과 처리 장치 및 방법 |
CN107613102B (zh) * | 2017-08-30 | 2019-05-17 | 维沃移动通信有限公司 | 一种会话信息输入方法及移动终端 |
JP6736534B2 (ja) * | 2017-10-17 | 2020-08-05 | Necプラットフォームズ株式会社 | 通信中継装置、システム、方法及びプログラム |
JP7047394B2 (ja) * | 2018-01-18 | 2022-04-05 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法 |
JP7077106B2 (ja) * | 2018-04-04 | 2022-05-30 | アルパイン株式会社 | 撮影画像データ処理装置および撮影画像データ処理方法 |
CN108564127B (zh) * | 2018-04-19 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 图像转换方法、装置、计算机设备及存储介质 |
KR102035796B1 (ko) * | 2018-07-26 | 2019-10-24 | 주식회사 딥핑소스 | 데이터를 비식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
US11301966B2 (en) * | 2018-12-10 | 2022-04-12 | Apple Inc. | Per-pixel filter |
CN109782850B (zh) * | 2019-01-04 | 2020-09-29 | 北京灵优智学科技有限公司 | 支持多种网络接入的全交互智能教育机 |
CN109743504B (zh) * | 2019-01-22 | 2022-02-22 | 努比亚技术有限公司 | 一种辅助拍照方法、移动终端和存储介质 |
EP3706076B1 (en) * | 2019-03-07 | 2021-02-24 | Siemens Healthcare GmbH | Method and device to determine the dimensions and distance of a number of objects in an environment |
US12118820B2 (en) * | 2020-01-27 | 2024-10-15 | Nec Corporation | Information processing system, information processing method, and storage medium for anonymized person detection |
KR20220003376A (ko) | 2020-07-01 | 2022-01-10 | 삼성전자주식회사 | 이미지 처리 방법 및 장치 |
JP2020177687A (ja) * | 2020-07-14 | 2020-10-29 | Necプラットフォームズ株式会社 | 情報処理装置、システム、方法及びプログラム |
JP6970945B1 (ja) * | 2021-06-18 | 2021-11-24 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US20240154784A1 (en) * | 2022-11-02 | 2024-05-09 | Nec Laboratories America, Inc. | Optical encryption camera |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6067399A (en) * | 1998-09-02 | 2000-05-23 | Sony Corporation | Privacy mode for acquisition cameras and camcorders |
CN1472691A (zh) * | 2002-07-30 | 2004-02-04 | ŷķ����ʽ���� | 脸部对照确认装置及脸部对照确认方法 |
CN1492379A (zh) * | 2002-10-22 | 2004-04-28 | 中国科学院计算技术研究所 | 利用快速人脸检测对新闻被采访者进行脸部遮挡的方法 |
EP1653279A1 (en) * | 2003-07-15 | 2006-05-03 | Omron Corporation | Object decision device and imaging device |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6353531A (ja) | 1986-08-25 | 1988-03-07 | Canon Inc | 像ブレ防止カメラ |
US4901096A (en) | 1988-12-30 | 1990-02-13 | Lemelson Jerome H | Camera apparatus and method |
JP2603871B2 (ja) | 1989-09-06 | 1997-04-23 | 旭光学工業株式会社 | 像ブレ防止カメラ |
JP3063801B2 (ja) | 1991-11-15 | 2000-07-12 | 株式会社ニコン | ブレ防止カメラ |
US5463443A (en) | 1992-03-06 | 1995-10-31 | Nikon Corporation | Camera for preventing camera shake |
JPH0630374A (ja) | 1992-07-10 | 1994-02-04 | Kyocera Corp | 不要撮影を防止する電子スチルカメラ |
US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
JPH0743803A (ja) | 1993-07-29 | 1995-02-14 | Olympus Optical Co Ltd | カメラの手ぶれ防止装置 |
JPH07218970A (ja) | 1994-02-03 | 1995-08-18 | Nikon Corp | カメラ |
JPH07288722A (ja) * | 1994-04-15 | 1995-10-31 | Canon Inc | 撮像装置 |
JPH08256289A (ja) | 1995-03-15 | 1996-10-01 | Canon Inc | 撮像装置 |
JP2736963B2 (ja) | 1995-04-24 | 1998-04-08 | 旭光学工業株式会社 | 像ブレ防止カメラ |
JPH1048681A (ja) | 1996-05-10 | 1998-02-20 | Olympus Optical Co Ltd | ぶれ防止カメラ |
US5923908A (en) | 1997-10-30 | 1999-07-13 | Eastman Kodak Company | Camera with touch sensitive control |
JPH11174520A (ja) | 1997-12-16 | 1999-07-02 | Canon Inc | 撮像装置 |
JPH11205761A (ja) * | 1998-01-14 | 1999-07-30 | Mitsubishi Electric Corp | カメラ機能付携帯電話装置 |
JP2000163196A (ja) | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
JP2000132693A (ja) | 1998-10-27 | 2000-05-12 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
US6714680B1 (en) * | 1999-06-02 | 2004-03-30 | Fuji Photo Film Co., Ltd. | Method and apparatus for image positioning processing |
JP4043708B2 (ja) | 1999-10-29 | 2008-02-06 | 富士フイルム株式会社 | 画像処理方法および装置 |
JP3939889B2 (ja) | 2000-02-01 | 2007-07-04 | ペンタックス株式会社 | 像振れ防止デジタルカメラ |
JP3740351B2 (ja) | 2000-06-23 | 2006-02-01 | 日本電信電話株式会社 | 画像加工装置および方法およびこの方法の実行プログラムを記録した記録媒体 |
JP3955170B2 (ja) | 2000-07-03 | 2007-08-08 | 富士フイルム株式会社 | 画像検索システム |
JP2002023716A (ja) | 2000-07-05 | 2002-01-25 | Pfu Ltd | プレゼンテーションシステムおよび記録媒体 |
JP2002049912A (ja) * | 2000-08-04 | 2002-02-15 | Nri & Ncc Co Ltd | 人物画像取得システム |
GB0118436D0 (en) | 2001-07-27 | 2001-09-19 | Hewlett Packard Co | Synchronised cameras with auto-exchange |
JP2004120404A (ja) * | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | 画像配信装置および画像処理装置並びにプログラム |
JP2004134950A (ja) | 2002-10-09 | 2004-04-30 | Sony Corp | 画像合成方法および画像合成装置 |
EP1577705B1 (en) | 2002-12-25 | 2018-08-01 | Nikon Corporation | Blur correction camera system |
US7212230B2 (en) | 2003-01-08 | 2007-05-01 | Hewlett-Packard Development Company, L.P. | Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera |
US7453506B2 (en) | 2003-08-25 | 2008-11-18 | Fujifilm Corporation | Digital camera having a specified portion preview section |
US7206461B2 (en) * | 2003-09-30 | 2007-04-17 | Fotonation Vision Limited | Digital image acquisition and processing system |
JP4206888B2 (ja) | 2003-09-30 | 2009-01-14 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
JP2005182526A (ja) * | 2003-12-19 | 2005-07-07 | Seiko Epson Corp | 著作権保護システム、配置装置、保護装置及び著作権保護方法 |
JP2005303511A (ja) | 2004-04-08 | 2005-10-27 | Logic:Kk | 画像蓄積システム、携帯端末、画像蓄積装置、画像蓄積方法、画像送信プログラムおよび画像蓄積プログラム |
JP2006050163A (ja) | 2004-08-03 | 2006-02-16 | Olympus Corp | 撮像装置 |
JP3906847B2 (ja) | 2004-04-16 | 2007-04-18 | ソニー株式会社 | 撮像装置 |
US7403641B2 (en) * | 2004-05-28 | 2008-07-22 | Matsushita Electric Works, Ltd. | Object recognition system |
US7733412B2 (en) * | 2004-06-03 | 2010-06-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
JP3892860B2 (ja) | 2004-06-11 | 2007-03-14 | 三菱電機株式会社 | カメラ付き携帯端末機器 |
JP4932161B2 (ja) | 2005-01-14 | 2012-05-16 | 三菱電機株式会社 | 視聴者情報測定装置 |
JP2006202049A (ja) | 2005-01-20 | 2006-08-03 | Omron Corp | 顔認識装置 |
JP2006203600A (ja) | 2005-01-21 | 2006-08-03 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2006201531A (ja) | 2005-01-21 | 2006-08-03 | Konica Minolta Holdings Inc | 撮像装置 |
JP4642489B2 (ja) | 2005-01-24 | 2011-03-02 | キヤノン株式会社 | 撮像装置及び撮像方法、並びに撮像プログラム及び記憶媒体 |
JP2006202181A (ja) | 2005-01-24 | 2006-08-03 | Sony Corp | 画像出力方法および装置 |
JP3992286B2 (ja) | 2005-01-28 | 2007-10-17 | キヤノン株式会社 | カメラシステムおよび交換レンズ |
JP2006221378A (ja) | 2005-02-09 | 2006-08-24 | Smart Wireless Kk | 顔認証を利用した警報システムおよび方法 |
JP2006279291A (ja) | 2005-03-28 | 2006-10-12 | Toshiba Corp | 撮影装置 |
US7612832B2 (en) | 2005-03-29 | 2009-11-03 | Microsoft Corporation | Method and system for video clip compression |
JP2006319610A (ja) | 2005-05-12 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US8374403B2 (en) | 2005-05-16 | 2013-02-12 | Cisco Technology, Inc. | Methods and apparatus for efficient, automated red eye detection |
JP2006330800A (ja) | 2005-05-23 | 2006-12-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像合成システム、画像合成方法、この方法のプログラム |
JP2006331271A (ja) | 2005-05-30 | 2006-12-07 | Nippon Hoso Kyokai <Nhk> | 代表画像抽出装置及び代表画像抽出プログラム |
US20070014543A1 (en) | 2005-07-13 | 2007-01-18 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
JP4429241B2 (ja) * | 2005-09-05 | 2010-03-10 | キヤノン株式会社 | 画像処理装置及び方法 |
JP2007097090A (ja) | 2005-09-30 | 2007-04-12 | Fujifilm Corp | 画像表示装置および方法ならびにプログラム、さらに写真プリント注文受付装置 |
JP4630807B2 (ja) | 2005-12-16 | 2011-02-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP4487954B2 (ja) * | 2006-02-28 | 2010-06-23 | ソニー株式会社 | データ記録装置、データ記録方法、及びプログラム |
JP4872396B2 (ja) | 2006-03-15 | 2012-02-08 | オムロン株式会社 | 画像編集装置、画像編集方法および画像編集プログラム |
US7689011B2 (en) * | 2006-09-26 | 2010-03-30 | Hewlett-Packard Development Company, L.P. | Extracting features from face regions and auxiliary identification regions of images for person recognition and other applications |
JP4853320B2 (ja) | 2007-02-15 | 2012-01-11 | ソニー株式会社 | 画像処理装置、画像処理方法 |
JP2008225550A (ja) | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US20080231714A1 (en) | 2007-03-22 | 2008-09-25 | Texas Instruments Incorporated | System and method for capturing images |
JP4396720B2 (ja) | 2007-03-26 | 2010-01-13 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2009003334A (ja) | 2007-06-25 | 2009-01-08 | Sony Corp | 画像撮像装置、撮像制御方法 |
-
2007
- 2007-03-19 JP JP2007070442A patent/JP4424364B2/ja not_active Expired - Fee Related
-
2008
- 2008-03-18 US US12/077,245 patent/US8107771B2/en not_active Expired - Fee Related
- 2008-03-18 KR KR1020080024793A patent/KR101426961B1/ko not_active IP Right Cessation
- 2008-03-19 CN CN2008100843721A patent/CN101272457B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6067399A (en) * | 1998-09-02 | 2000-05-23 | Sony Corporation | Privacy mode for acquisition cameras and camcorders |
CN1472691A (zh) * | 2002-07-30 | 2004-02-04 | ŷķ����ʽ���� | 脸部对照确认装置及脸部对照确认方法 |
CN1492379A (zh) * | 2002-10-22 | 2004-04-28 | 中国科学院计算技术研究所 | 利用快速人脸检测对新闻被采访者进行脸部遮挡的方法 |
EP1653279A1 (en) * | 2003-07-15 | 2006-05-03 | Omron Corporation | Object decision device and imaging device |
Non-Patent Citations (1)
Title |
---|
JP特开2001-127990A 2001.05.11 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI821889B (zh) * | 2022-01-27 | 2023-11-11 | 群光電子股份有限公司 | 影像擷取裝置及其應用的自動取景方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20080085731A (ko) | 2008-09-24 |
KR101426961B1 (ko) | 2014-08-06 |
US20090016645A1 (en) | 2009-01-15 |
US8107771B2 (en) | 2012-01-31 |
JP2008236141A (ja) | 2008-10-02 |
CN101272457A (zh) | 2008-09-24 |
JP4424364B2 (ja) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101272457B (zh) | 图像处理装置和图像处理方法 | |
JP4853320B2 (ja) | 画像処理装置、画像処理方法 | |
JP5162928B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP4826485B2 (ja) | 画像保存装置、画像保存方法 | |
JP4281819B2 (ja) | 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法 | |
CN105609035B (zh) | 图像显示装置及方法 | |
US20080062291A1 (en) | Image pickup apparatus and image pickup method | |
EP1921844A2 (en) | Imaging apparatus and method | |
TW200827769A (en) | Display device and display method | |
JP5959923B2 (ja) | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
US8786749B2 (en) | Digital photographing apparatus for displaying an icon corresponding to a subject feature and method of controlling the same | |
TW200922324A (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
JP2008035332A (ja) | 撮像装置及び出力画像生成方法 | |
JP2010268128A (ja) | 制御装置、撮像装置、撮像システム、画像取得方法、及びプログラム | |
JP2019047234A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2013034237A (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP2011049988A (ja) | 画像処理装置およびカメラ | |
JP2017147764A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009055080A (ja) | 撮像装置、撮像方法 | |
JP2010187320A (ja) | 画像記録装置、画像分類装置、画像表示装置及びプログラム | |
JP6108831B2 (ja) | 携帯機器、サーバ、画像生成方法およびプログラム | |
JP2008293140A (ja) | 画像処理装置およびカメラ | |
JP5659856B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2004208024A (ja) | 撮像装置および撮像方法およびプログラムおよび記録媒体 | |
CN110300251A (zh) | 影像播放装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101215 Termination date: 20200319 |