CN101650783A - 图像识别方法以及摄像装置 - Google Patents

图像识别方法以及摄像装置 Download PDF

Info

Publication number
CN101650783A
CN101650783A CN200910165538A CN200910165538A CN101650783A CN 101650783 A CN101650783 A CN 101650783A CN 200910165538 A CN200910165538 A CN 200910165538A CN 200910165538 A CN200910165538 A CN 200910165538A CN 101650783 A CN101650783 A CN 101650783A
Authority
CN
China
Prior art keywords
image
piece
type
mentioned
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910165538A
Other languages
English (en)
Other versions
CN101650783B (zh
Inventor
安田泰代
浜田哲也
铃木敬
平贺督基
棚濑宁
椎野寿树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Morpho Inc
Original Assignee
NTT Docomo Inc
Morpho Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc, Morpho Inc filed Critical NTT Docomo Inc
Publication of CN101650783A publication Critical patent/CN101650783A/zh
Application granted granted Critical
Publication of CN101650783B publication Critical patent/CN101650783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Abstract

本发明提供一种图像识别方法以及摄像装置,在使用由摄像装置拍摄的图像的块图像的特征量来识别对象时,抑制CPU的处理成本,高精度地识别对象。将图像数据分割为多个块而生成块图像,利用块图像的颜色空间信息以及频率分量来运算出各个块图像的特征量。另外,作为教师数据,预先运算出每个类型的图像特征量,并使用该特征量来计算出成为识别类型的边界的分离超平面,对于新获取的图像也同样地计算出块图像的图像特征量,利用从各类型的分离超平面起的距离,判定该块图像所属的类型。

Description

图像识别方法以及摄像装置
技术领域
本发明涉及确定图像中的对象(类型,category)的技术,特别涉及在拍摄时高精度地进行风景等场景检测并能够进行适当的照相机设定的图像识别方法以及摄像装置。
背景技术
伴随数字照相机或带照相机的便携电话的普及,用户使用这样的设备在各种场景中进行拍摄的机会增加。在这样的场景之中,通过识别被摄体而设定正确的照相机参数,由此可以得到高质量的照片。
在专利文献1中,公开出具有如下功能的图像处理装置:除了从摄像图像中得到的信息以外,还根据从照相机内的时钟、温度计、GPS图像中得到的信息等,推测摄像者在该条件下可能会最常用的拍摄模式并向摄像者提示。
另外,在该文献中,还公开出识别被摄体,并根据其种类来推测拍摄场景的技术。
专利文献1:日本特开2007-184733号公报
但是,在专利文献1的图像处理装置中,为了得到用于推测拍摄模式的信息,需要传感器、GPS等硬件结构,所以难以安装到已有的照相机模块中。另外,难以摆脱数字照相机的小型化、向便携电话搭载时的物理或成本上的制约。
另一方面,作为一般的被摄体识别技术,有模板匹配、基于特征点提取的形状(轮廓)识别等方法。但是,在希望识别山、天空等人们识别为风景那样的被摄体(以下称为风景被摄体)的情况下,由于在这些风景被摄体中不存在特定的形状,所以不容易正确地识别。另外,在希望应对所有图案时,存在模板数据变得庞大这样的问题。
发明内容
本发明是鉴于上述情况而完成的,其目的在于提供一种图像识别方法,在不需要硬件等结构的情况下能够仅通过图像处理来判别拍摄场景,而且,在不使用庞大的模板数据的情况下能够高精度地识别风景被摄体。
为了解决上述课题,本发明提供一种图像识别方法,通过计算机处理,根据输入的图像数据的块图像的特征量,将该块图像分类为预定的多个类型,其特征在于,包括:块图像生成步骤,将上述图像数据分割为多个块而生成块图像;图像特征量运算步骤,利用块图像的颜色空间信息以及频率分量,运算出各个块图像的特征量;分离超平面运算步骤,读入针对每个块附有类型的教师数据图像,针对教师数据图像的块的每一个运算出图像特征量,学习成为识别各类型的边界的分离超平面;以及类型判定步骤,对于新获取的图像,执行块图像生成步骤和图像特征量运算步骤,计算出块图像的图像特征量,利用从各类型的分离超平面起的距离判定该块图像所属的类型。
在本发明中,不只是使用块图像的颜色空间信息,而且还使用频率分量,将这些作为特征量,根据预先利用教师数据得到的从分离超平面起的距离来判定类型。
将针对每个块附有类型的样本图像作为教师数据,运算出图像特征量空间中的每个类型的分离超平面,以该分离超平面数据为基准,针对每个块判别新获取的图像的类型。
优选为,在图像特征量运算步骤中,将块图像在颜色空间上分割为多个等级并对每个等级的出现次数进行检测,并且运算出块内的像素间标准偏差,另一方面将该块图像进一步分为多个小块,计算出该小块的表示浓淡变化的频率分量,根据该频率分量,对于该小块所属的块内,针对水平方向与垂直方向中的至少一个方向,运算出频率分量的偏移,将出现次数、像素间标准偏差、频率分量以及频率分量的偏移作为图像特征量进行运算。
通过不只是使用块图像的颜色分量,而且还使用块内的频率分量的偏移,由此抑制了块分割数,从而能够高精度地进行识别。
本发明的图像识别方法还包括匹配检查步骤,在该匹配检查步骤中,保存类型间的不匹配条件,在根据该不匹配条件与周围的块图像的类型变更了新获取的图像的块图像的类型之后,对邻接的同一类型的块进行分组,对于该分组后的块群,根据不匹配条件评价类型判定有无合理性。
该不匹配条件由针对块图像单体的不匹配条件和针对块图像的组的不匹配条件构成。例如,在只有一个块的类型与周围邻接块的类型不同的情况下,使其与周围块的类型一致。此时,如果将从分离超平面起的距离加到该条件使得根据从分离超平面起的距离在正的距离大的情况下不变更时,可以实现更正确的修改。
针对块群的不匹配条件例如是在“天空”之上不会出现“海”这样的判定位置关系的矛盾的条件。
而且,该匹配检查步骤的结果,输出被评价为有合理性的块群的类型。由此,可以高精度地识别块群的类型。
另外,如果使用上述图像特征量,则即使块分割数为一定,判定精度也高,但对于不同类型的边界的块,通过进一步分割为小块来判定类型,由此可以更精密地进行判定。另外,在图像处理中,通过在不同类型的块群的边界上检测边缘、边角,由此可以高效地进行图像处理。
另外,本发明提供一种摄像装置,通过上述图像识别方法来识别图像的类型,其特征在于,具备:拍摄条件保存单元,针对每个类型存储摄像装置的参数的设定条件和拍摄后的图像处理方法;摄像单元,在拍摄时,根据通过上述图像识别方法输出的拍摄对象图像的类型,设定摄像装置的参数并进行拍摄,获取摄像图像;以及图像处理单元,对该摄像图像通过针对该类型的图像处理方法执行图像处理。
在本发明中,使用通过所谓预览得到的图像的类型判定的结果,调整照相机参数(例如自动/手动模式、快门速度、曝光)等而进行拍摄,并在拍摄之后进而进行与该类型对应的图像处理(例如轮廓强调、色调校正等)。另外,通过使用图像的类型判定的结果,向用户提示最佳的拍摄模式,可以辅助用户选择拍摄模式。
而且,本发明提供一种摄像装置,通过上述图像识别方法来识别图像的类型,其特征在于,具备:程序储存单元,与类型对应关联地储存应执行的程序;程序选择单元,在程序储存单元中储存有与通过上述图像识别方法识别的类型对应关联的程序的情况下,选择该程序;以及程序执行单元,执行由程序选择单元选择的程序。
在本发明中,自动地、或者基于在监视器画面上的显示输出之后的用户选择,启动与利用图像识别方法判定的类型对应的程序,由此可以实现操作的简化、高效化。
根据本发明,将颜色空间信息和频率分量作为图像特征量,预先使用教师数据,根据每个类型的图像特征量计算出分离超平面,对于成为类型判定的对象的图像,利用该块的图像特征量的从各类型的分离超平面起的距离,判定该块的类型,所以即使是没有特征性的一定形状,且不适合模板匹配那样的风景被摄体,也可以高精度地识别对象。
附图说明
图1是实现本发明的实施方式的图像识别方法的判别器的概要说明图。
图2是本发明的第一实施方式的判别器10的功能框图。
图3是本发明的实施方式的频率分量处理的说明图。
图4是使用了本发明的实施方式的柱状图的颜色分量处理的说明图。
图5是示出本发明的实施方式的特征量空间与分离平面的关系的概要图。
图6是特征量空间为二维时的分离超平面的概要图。
图7是图2的图像特征量数据的结构例子。
图8是图2的分离超平面数据的结构例子。
图9是图2的结果文件的数据结构图。
图10是示出图2的匹配检查单元37的块单位的类型修改步骤的流程图。
图11是图10的处理中使用的修改阈值表的数据结构例子。
图12是例示出图9的图像上的块组的位置关系的概要图。
图13是示出图2的匹配检查单元37的块群匹配性判定步骤的流程图。
图14是图13的处理中使用的不匹配条件表。
图15是本发明的第二实施方式的摄像装置的框图。
图16是图15的参数设定单元3具备的参数表的数据例子。
图17是图15的图像处理单元6具备的校正处理表的数据例子。
图18是示出摄像装置的液晶监视器上显示的被摄体与拍摄模式的选择画面的一个例子的图。
图19是本发明的第三实施方式的摄像装置的框图。
图20是本发明的第三实施方式的按类型的块群的说明图。
符号说明
1摄像装置
2摄像元件
3参数设定单元
4快门操作检测单元
5累积单元
6图像处理单元
7程序选择单元
8程序储存单元
9程序执行单元
10判别器
20存储部
21对象图像保存区域
22教师数据保存区域
23块图像保存区域
24图像特征量数据保存区域
25分离超平面数据保存区域
26结果文件
30运算部
31图像数据输入单元
32块图像生成单元
33图像特征量运算单元
34分离超平面运算单元
35类型判定单元
36分组单元
37匹配检查单元
38输出单元
50二维条形码
具体实施方式
以下,说明本发明的实施方式。图1是实现本实施方式的图像识别方法的判别器的概要说明图。在此,以将风景被摄体分成山、天空、海、红叶、夕阳、樱花这六个类型的情况为例子进行说明。但是,本发明不限于此。
在图1中,判别器10由通用的计算机系统构成,首先接收输入图像,并分割为块。然后,根据各块计算出后述的图像特征量,针对每个块进行在块中存在哪一种风景被摄体、或者是否不明确这样的判定,并输出其判定结果。
向判别器10预先提供在标签上附有正确解释的风景图像的图像块作为教师数据,使其学习分类方法。
例如,利用被广泛用作学习算法的线性SVM的专用库liblinear(http://www.csie.ntu.edu.tw/~cjlin/liblinear),输入每个类型的图像特征量,计算出分离超平面。将其进行存储,对于新获取的识别对象的图像(以下称为对象图像)求出其图像特征量,计算出针对每个类型存储的从分离超平面起的距离,判定为该距离为最大正值的类型是相当于该块的类型。
以下,说明判别器10的结构与动作。
图2是本实施方式的判别器10的功能框图。在此,判别器10具有存储数据的存储部20和执行运算处理的运算部30。运算部30具有:输入图像数据并储存到存储部20的图像数据输入单元31;将输入的图像数据分割为预定的多个块的块图像生成单元32;块图像的图像特征量运算单元33;根据教师数据运算出分离超平面的分离超平面运算单元34;根据输入图像的图像特征量和分离超平面数据判定块所属的类型的类型判定单元35;对类型分类后的块进行分组而形成块群的块图像分组单元36;针对各个块或块群,根据其类型彼此的位置关系来检查是否没有矛盾的匹配检查单元;以及输出每个块的类型以及组信息的输出单元38。各单元31~38可以通过程序作为CPU的处理(步骤)执行。
(1.利用教师数据生成分离超平面数据的处理)
首先,对判别器10输入教师数据。教师数据是在标签上附有正确解释的类型的图像块。
除了上述六种风景被摄体的类型以外,还加上人工物、黑、白这三个类型。这是因为,即使以识别风景被摄体为目的,也要避免对没有拍摄有风景被摄体的图像硬进行类型分类的情况。通过加上这样的所谓消极类型,可以提高作为本来的识别对象的风景被摄体的类型分类的精度。消极类型不限于上述例子,而也可以任意设定。另外,也可以将风景被摄体以外的类型作为消极类型并集中为一个类型。
输入的教师数据经由图像数据输入单元31保存到存储部20的教师数据保存区域22中。
接下来,由图像特征量运算单元33计算出针对教师数据的各块图像的图像特征量数据。
以下,说明图像特征量数据的计算方法。
(图像特征量的计算方法)
图像特征量是使用块的颜色空间信息和频率分量求出的。
(1)颜色空间信息
作为颜色空间,使用YUV空间,对于Y、U、V分别计测8个等级的强度的每一个强度在32x32块中出现的频度。
另外,YUV值的像素间的标准偏差在颜色的偏量大的情况、颜色的分布被分为几个组那样的情况下表示大的值,对人工物的识别是有效的,所以加入到特征量是有效果的。
具体而言,如图4所示,使用以纵轴为次数、以横轴为等级的柱状图,将各颜色分量值0~255分为8个簇(cluster),并计测出现次数。因此,制作出各颜色分量次数7自由度×3=21自由度、21维空间。
(2)频率信息
为了检测块的复杂度、规则性,利用空间频率分量进行的分析是有效的。例如,在对相同的色调的天空与海进行比较的情况下,由于一般后者的高频分量更多,所以除了颜色分量信息以外还通过将空间频率分量设为特征量,由此可以进行类型分类。
另外,山表与海虽然在色调上几乎没有差异且具有高频分量多的倾向,但由于在海的表面上掺入有由波纹形成的水平方向的线的情况较多,且具有垂直方向的频率分量与水平方向相比有意地变高这样的特征,所以通过以频率分量偏向于垂直方向和水平方向的哪一个的情况作为特征量进行获取,由此可以进行类型分类。
对于频率信息,具体而言进行以下处理。
(S1)将32x32像素的块进一步分割为8x8的16个小块。
(S2)获取每个8x8的小块的频率分量。
(S3)从各小块获取64个各频率分量并合计。另外,对于频率分量,也可以通过适当间隔剔除、或对临近的频率分量进行平均化等来减少信息量。
频率变换也可以使用作为已知的技术的阿达玛(Hadamard)变换和DCT变换的方法中的某一个。
接下来,说明频率偏移的计算方法。
在频率分量中存在X方向与Y方向的频率分量,图3的斜线部分是X方向、灰色是Y方向的分量。在本实施方式中,获取X方向的分量之和与Y方向的分量之和并计算其比率。
通过该计算结果,如果比率小,则可以判定为X方向与Y方向的图像的复杂度相等,在比率大的情况下,可以判定为在哪一方向上图像的复杂度大。例如,在某一方向的波纹图案那样的图像、具体而言在Y方向上有竖条纹的图案中,X方向的分量相对Y方向的分量的比率大。
接下来,由分离超平面运算单元34使用通过上述算法求出的图像特征量数据和教师数据的每个块的类型信息来求出分离超平面数据,并保存到分离超平面数据保存区域25中。
(分离超平面数据的计算方法)
在本实施例中说明使用了支持向量机(Support vectormachines,以下称为SVM)的例子。SVM是针对提供的教师数据的集合,根据各教师数据所属的类型计算出分离超平面,并用分离超平面分离为各类型的方法。
分离超平面是针对每个类型运算出的。在此,作为例子,以运算类型“海”的分离超平面的情况为例子进行说明。
在获取了规定数的样本图像之后,图像特征量运算单元33针对每个块获取特征量。
此时,成为教师数据的样本图像内的块分别附有类型,赋予了“海”、“山”、其他上述的类型。此时,也可以赋予消极类型。
在SVM中,在学习关于“海”的分类的情况下,在d维特征量空间中,设定分割为赋予了“海”类型的特征量数据的区域、与赋予了“海”以外的类型的特征量数据的区域这两个类(class)这样的分离平面。图5示出将d设为二维时的特征量空间的概念。此时,分离平面可以被设定多个,但计算出与两个类的最端的坐标的距离最大(所谓余量最大)的分离平面。此时的分离平面是对于要求出的类型“海”的分离超平面。
将d维特征量数据设为X=(x1、x2、...、xd),矢量=(w1、w2、...、wd)、常数c,则分离超平面如下表示。
w1x1+w2x2+...+wdxd+c=0    (1)
在成为判别对象的块被输入到后述的类型判定单元35时,由图像特征量运算单元33计算出所得到的d维的特征量数据F=(x1、x2、...、xd),根据用式(1)表示的特征量空间中的与每个类型的分离超平面的距离,判定属于哪个类型。
分离超平面运算单元34与上述“海”的例子同样地对于各类型求出分离超平面,并保存到分离超平面数据保存区域25中。图6是将特征量空间设为二维,并对于“海”、“山”、“天空”类型进行了学习时的分离超平面的概念图。
(2.对象图像的类型化处理)
(图像输入处理)
输入的对象图像通过图像数据输入单元31保存到存储部20的对象图像保存区域21中。
(块分割处理)
该输入图像通过块图像生成单元32被分割为预定的规定数、例如32x32个块并储存到块图像保存区域23中。另外,块图像也可以与源图像关联地仅保存表示各块的开头的地址信息。该块的大小与作为上述教师数据提供的块的大小相同。
(图像特征量运算处理)
接下来,通过上述图像特征量运算单元33的处理,计算出每个块的图像特征量数据并储存到图像特征量数据保存区域24中。图7是每个块的图像特征量数据的例子。在此,x1、x2、x3...是各特征量数据。
(类型判定处理)
接下来,由类型判定单元35根据输入图像的各块的图像特征量的从分离超平面起的距离,判定该块属于哪个类型。
具体而言,在每个类型的上式(1)的左边代入通过图像特征量运算处理求出的特征量数据,计算出分离超平面与特征量空间中的坐标(x1、x2、...、xd)之间的带符号的距离并储存到分离超平面数据保存区域25中(参照图8)。然后,判定该距离成为最大正值的类型是该块所属的类型,将该判定结果保存到结果文件26中。图9是结果文件的数据结构例子。在该图中,块NO.对应于对象图像的被划分为32x32的各块图像。另外,针对每个块对应关联了所判定的类型。
此时,在对于任一类型都取负的距离时、或在属于消极类型的情况下,设定为表示不属于任一类型的“不明确”、或将类型设为空。
(匹配检查处理)
接下来,由匹配性检查单元37对该结果文件26的各块的类型进行检查修改。
图10是示出块单位的类型修改步骤的流程图。
首先,将某块作为着眼块,判定在与该着眼块邻接的块中规定数(例如三个方向)以上的块的类型是否与着眼块的类型不同(S102),在“是”的情况下,访问图11所示的修改阈值表,提取成为与该类型对应的阈值的从分离超平面起的距离(S103),然后,判定着眼块的从分离超平面起的距离是所提取的阈值以上还是以下(S104),在阈值以下的情况下,将着眼块变更为与周围的类型相同的类型(S105)。
在基于分离超平面来判定类型时,如果将距离条件设得过严,则本来属于该类型的部分被判定为不属于该类型的倾向变强。另一方面,如果过松,则不属于该类型的部分也被误认定为属于该类型的倾向变强。可以通过调整匹配检查的阈值来设定为实用的水平。
在修改了每个块的类型之后,由分组单元36对邻接的相同类型的块进行分组,形成块群(参照图9以及图12)。而且,匹配性检查单元37针对该块群也判定是否没有矛盾,并保存该判定结果。
图13是示出匹配检查单元37的块群匹配性判定步骤的流程图。
对于某着眼块群,访问不匹配条件表并依次取出不匹配条件,判定是否对应于该条件。图14示出不匹配条件。在该图中,不匹配条件由包含条件和上下关系位置条件构成,例如,对于条件NO.1的“海”而言,“海”是不会包含“天空”的,如果类型为“海”的块覆盖“天空”类型的块的周围,则判定在类型判定上存在错误、即不匹配。另外,对于条件NO.2的“天空”而言,在“天空”之上存在“海”、并且在天空之下存在“山”的情况被判定为存在不匹配。对于各块群,判定这些条件。另外,在该匹配检查的结果,当存在不匹配的情况下,也可以输出表示该意思的消息,也可以对于存在不匹配的块群的边界的块进行如下修改处理:分别向从分离超平面起的距离、或与修改阈值表的阈值之差大的一方的类型依次对应。另外,在属于块群中的块数为针对每个类型预先规定的规定值以下的情况下,也可以进行使该块群的类型成为无效等处理。
然后,该对象图像的类型信息、以及判定结果经由输出单元38而输出。
以上,根据本实施方式,在块图像的颜色空间中根据强度而等级化为多个等级,并将每个等级的出现次数、像素间标准偏差、表示浓淡变化的频率分量、以及块内的频率分量的偏移设为图像特征量,所以可以高精度地进行识别。
接下来,对本发明的第二实施方式进行说明。图15是安装了图2的判别器10的摄像装置的框图。在该图中,摄像装置1包括:生成被摄体的图像信号的摄像元件2;检测快门操作并输出图像累积指令的快门操作检测单元4;接收来自快门操作检测单元4的图像累积指令,累积从摄像元件2输出的图像信号的累积单元5;校正所累积的图像数据的图像处理单元6;判别器10;以及根据从判别器10输出的类型数据设定摄像元件2的参数的参数设定单元3。
在此,判别器10虽然基本上具有图2所示的结构,但在向摄像装置1安装时,预先保存另外计算出的分离超平面数据,所以可以省略分离超平面运算单元34。
以下,说明具有上述结构的摄像装置1的动作。
在快门操作前的预览模式下从摄像元件2输出的图像信号被输入到判别器10。在判别器10中,对该图像信号执行第一实施方式中说明的动作,输出针对图像块群的类型。参数设定单元3具备图16所示的将类型与参数对应关联的参数表,并参照该表来进行摄像元件2的快门速度、曝光时间、其他模式设定。
之后,快门操作检测单元4在检测到快门被按下时,将该定时通知给摄像元件2,并且将从摄像元件2输出的图像信号累积到累积单元5中。该累积的图像数据被读入到图像处理单元6,根据从判别器10输出的该图像的类型数据,按照图17所示的将类型与校正处理对应关联的校正处理数据,执行相应的校正处理。
根据本实施方式,使用通过预览得到的图像数据的类型判定的结果,调整摄像装置的参数而进行拍摄,在拍摄之后进而进行与该类型对应的图像处理,所以无需使用户进行复杂的参数设定操作,就可以生成高质量的摄像图像。
另外,本发明可以在不脱离其要旨的范围内进行各种变形而实施。例如,在上述实施方式中,以所谓的风景被摄体为例子进行了说明,但不限于被摄体是否为风景的情况,例如当然可以包括人、人工物等适用于任意类型。
另外,如图18所示,也可以根据识别出的风景被摄体来提示用户利用的可能性高的拍摄模式,以使进行选择。通过进行与所选择的模式对应的参数设定、图像处理,可以生成与用户的希望对应的高质量的图像。
接下来,说明本发明的第三实施方式。图19是本实施方式的摄像装置的框图。与图15的区别点在于,代替参数设定单元3,设置有:与类型对应关联地储存程序的程序储存单元8;输入由判别器10判别的类型,在保存在程序储存单元8内的程序中选择与该类型对应关联的程序的程序选择单元7;以及执行由选择单元7选择的程序的程序执行单元9。
以下,以对表示了图20(a)所示的二维条形码50的名片进行拍摄的情况为例子,说明摄像装置1的动作。
首先,预先使判别器10通过在实施方式1中说明的方法,利用二维条形码的教育数据进行学习,并保存该分离超平面数据。
通过使用该摄像装置1对带二维条形码的名片进行拍摄,从摄像元件2输出的名片的图像信号被输入到判别器10。在判别器10中,对该名片图像执行在第一实施方式中说明的动作,输出每个图像块群的类型。判别器10由于具备二维条形码的分离超平面数据,所以在该情况下,将图20(b)的A部的用粗框表示的块群识别为二维条形码的类型,输出块群与类型信息。
程序选择单元7在输入了该类型数据后,选择保存在程序储存单元8中的二维条形码读取程序,并提交给程序执行单元9。然后,程序执行单元9启动从程序选择单元7提交来的二维条形码读取程序。
二维条形码读取程序在启动之后,将摄像单元的设置设定为焦距短的微距拍摄模式,对图像处理单元6请求二维条形码区域的图像数据。图像处理单元6判断输入图像是否为二维条形码图像数据,将二维条形码区域的图像提交给程序执行单元9。由程序执行单元9执行的二维条形码读取程序处理二维条形码图像,获取包含在其中的信息,并作为结果而输出。
以上,对于二维条形码的情况说明了摄像装置1的动作,但只要与类型对应地存在应启动的程序,则可以进行同样动作。
例如,如果与文字信息的类型对应关联地储存有OCR程序,则判别器10将图20(b)的B部识别为文字信息,启动OCR程序,可以读取B部的文字信息。
根据本实施方式,由于将类型与程序对应关联地保存,根据从判别器输出的类型数据,执行对应的程序,所以操作性提高。而且,通过与基于图像处理单元的校正处理连动,从而可以提高程序处理的精度。

Claims (6)

1.一种图像识别方法,通过计算机处理,根据输入的图像数据的块图像的特征量,将该块图像分类为预定的多个类型,其特征在于,包括:
块图像生成步骤,将上述图像数据分割为多个块而生成块图像;
图像特征量运算步骤,利用块图像的颜色空间信息以及频率分量,运算出各个上述块图像的特征量;
分离超平面运算步骤,读入针对每个块附有类型的教师数据图像,针对上述教师数据图像的块的每一个运算出图像特征量,学习成为识别各类型的边界的分离超平面;以及
类型判定步骤,对于新获取的图像,执行上述块图像生成步骤和上述图像特征量运算步骤,计算出块图像的图像特征量,利用特征量空间中的从各类型的分离超平面起的距离判定该块图像所属的类型。
2.根据权利要求1所述的图像识别方法,其特征在于,在上述图像特征量运算步骤中,将上述块图像在颜色空间上分割为多个等级并对每个等级的出现次数进行检测,并且运算出块内的像素间标准偏差,另一方面将该块图像进一步分为多个小块,计算出该小块的表示浓淡变化的频率分量,根据该频率分量,对于该小块所属的块内,针对水平方向与垂直方向中的至少一个方向,运算出上述频率分量的偏移,将上述出现次数、上述像素间标准偏差、上述频率分量以及上述频率分量的偏移作为图像特征量进行运算。
3.根据权利要求1或2所述的图像识别方法,其特征在于,包括:
保存类型间的不匹配条件,参照上述新获取的图像的块图像的周围的块,根据上述周围的块的参照结果与上述不匹配条件,变更上述新获取的图像的块图像的类型的步骤;以及
匹配检查步骤,对邻接的同一类型的块进行分组,对于该分组后的块群,根据上述不匹配条件,评价类型判定有无合理性。
4.根据权利要求3所述的图像识别方法,其特征在于,上述匹配检查步骤的结果,输出被评价为有合理性的块群的类型。
5.一种摄像装置,通过权利要求1~4中的任意一项所述的图像识别方法来识别图像的类型,其特征在于,具备:
拍摄条件保存单元,针对每个类型存储摄像装置的参数的设定条件和拍摄后的图像处理方法;
摄像单元,在拍摄时,根据通过上述图像识别方法输出的拍摄对象图像的类型,设定上述摄像装置的参数,获取摄像图像;以及
图像处理单元,对该摄像图像通过针对该类型的上述图像处理方法执行图像处理。
6.一种摄像装置,通过权利要求1~4中的任意一项所述的图像识别方法来识别图像的类型,其特征在于,具备:
程序储存单元,与类型对应关联地储存应执行的程序;
程序选择单元,在上述程序储存单元中储存有与通过上述图像识别方法识别的类型对应关联的程序的情况下,选择该程序;以及
程序执行单元,执行由上述程序选择单元选择的程序。
CN200910165538.7A 2008-08-13 2009-07-29 图像识别方法以及摄像装置 Active CN101650783B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008208407A JP4772839B2 (ja) 2008-08-13 2008-08-13 画像識別方法および撮像装置
JP2008-208407 2008-08-13
JP2008208407 2008-08-13

Publications (2)

Publication Number Publication Date
CN101650783A true CN101650783A (zh) 2010-02-17
CN101650783B CN101650783B (zh) 2014-03-26

Family

ID=41228398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910165538.7A Active CN101650783B (zh) 2008-08-13 2009-07-29 图像识别方法以及摄像装置

Country Status (5)

Country Link
US (1) US8363933B2 (zh)
EP (1) EP2154630A1 (zh)
JP (1) JP4772839B2 (zh)
KR (1) KR101324268B1 (zh)
CN (1) CN101650783B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156860A (zh) * 2011-04-25 2011-08-17 北京汉王智通科技有限公司 车辆检测方法和装置
CN102799854A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN102800080A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN103679189A (zh) * 2012-09-14 2014-03-26 华为技术有限公司 场景识别的方法和装置
CN104350510A (zh) * 2012-06-14 2015-02-11 国际商业机器公司 多线索对象检测和分析
CN105184213A (zh) * 2014-06-12 2015-12-23 松下知识产权经营株式会社 图像识别方法、相机系统
CN109564173A (zh) * 2017-04-25 2019-04-02 翼视株式会社 图像检查装置、生产系统、图像检查方法、程序及存储介质
CN111553422A (zh) * 2020-04-28 2020-08-18 南京新空间信息科技有限公司 手术器械自动识别回收方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623388B2 (ja) * 2008-09-08 2011-02-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5538967B2 (ja) * 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP5531643B2 (ja) * 2010-01-25 2014-06-25 株式会社Ihi 通路検出方法、装置、及びプログラム
JP5407897B2 (ja) * 2010-01-25 2014-02-05 株式会社Ihi 画像分類方法、装置、及びプログラム
JP2012004716A (ja) * 2010-06-15 2012-01-05 Sanyo Electric Co Ltd 撮像装置及び電子機器
GB2495269B (en) * 2011-08-15 2014-02-05 Qatar Foundation Real-time solar observations
US8477189B2 (en) 2011-08-16 2013-07-02 Qatar Foundation Real-time solar observations
US9053359B2 (en) * 2012-06-07 2015-06-09 Konica Minolta Laboratory U.S.A., Inc. Method and system for document authentication using Krawtchouk decomposition of image patches for image comparison
EP2709350B1 (en) * 2012-09-14 2015-06-03 Axis AB Configuration of image capturing settings
US9773231B2 (en) 2013-05-29 2017-09-26 Evernote Corporation Content associations and sharing for scheduled events
CN104424485A (zh) * 2013-08-22 2015-03-18 北京卓易讯畅科技有限公司 一种基于图像识别来获取特定信息的方法与装置
WO2015038335A1 (en) * 2013-09-16 2015-03-19 Evernote Corporation Automatic generation of preferred views for personal content collections
CN104240213B (zh) * 2014-09-05 2017-12-15 京东方科技集团股份有限公司 一种显示方法及显示装置
CN104299196A (zh) * 2014-10-11 2015-01-21 京东方科技集团股份有限公司 一种图像处理装置及方法、显示设备
JP6448325B2 (ja) * 2014-11-19 2019-01-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105160360A (zh) * 2015-09-29 2015-12-16 上海斐讯数据通信技术有限公司 一种国旗识别方法及移动终端
US11170215B1 (en) * 2016-04-28 2021-11-09 Reality Analytics, Inc. System and method for discriminating and demarcating targets of interest in a physical scene
JP6948959B2 (ja) * 2018-02-09 2021-10-13 株式会社日立ソリューションズ・クリエイト 画像処理システム及び画像処理方法
JP7079631B2 (ja) * 2018-03-19 2022-06-02 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
CN111382296B (zh) * 2018-12-28 2023-05-12 深圳云天励飞技术有限公司 数据处理方法、装置、终端及存储介质
CN110636217B (zh) * 2019-08-29 2020-07-28 上海斯俊慕智能科技有限公司 自动化现场数据处理系统
WO2024024437A1 (ja) * 2022-07-27 2024-02-01 京セラ株式会社 学習データ生成方法、学習モデル、情報処理装置、及び情報処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231254A (ja) * 1993-02-03 1994-08-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の高速認識検索方法
JP3908793B2 (ja) * 1994-02-04 2007-04-25 ソニー株式会社 画像照合方法および装置
AUPN727295A0 (en) * 1995-12-21 1996-01-18 Canon Kabushiki Kaisha Zone segmentation for image display
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
JP4267103B2 (ja) 1998-09-18 2009-05-27 株式会社日立製作所 外観画像分類装置およびその方法
JP2000115557A (ja) * 1998-10-08 2000-04-21 Fuji Xerox Co Ltd 画像処理装置
JP2001005967A (ja) 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd 画像送信装置及びニューラルネットワーク
JP3548473B2 (ja) * 1999-11-19 2004-07-28 日本電信電話株式会社 眼底画像の動静脈識別方法、記録媒体及び装置
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP3658761B2 (ja) * 2000-12-12 2005-06-08 日本電気株式会社 画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
JP4669150B2 (ja) 2001-04-09 2011-04-13 キヤノン株式会社 主被写体推定装置及び主被写体推定方法
US6996277B2 (en) * 2002-01-07 2006-02-07 Xerox Corporation Image type classification using color discreteness features
JP4062987B2 (ja) 2002-06-25 2008-03-19 松下電工株式会社 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム
JP4611069B2 (ja) * 2004-03-24 2011-01-12 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
CN100559826C (zh) * 2004-09-30 2009-11-11 富士胶片株式会社 图像处理设备及其方法
JP2006268820A (ja) 2004-11-02 2006-10-05 Matsushita Electric Ind Co Ltd 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路
WO2006090731A1 (ja) 2005-02-23 2006-08-31 Nec Corporation 顔画像分類方法、顔画像分類装置及び顔画像分類プログラム
US7609885B2 (en) * 2005-08-04 2009-10-27 Sony Corporation System and method for effectively implementing a texture feature detector
JP4659569B2 (ja) 2005-09-13 2011-03-30 キヤノン株式会社 撮像装置
JP2007184733A (ja) 2006-01-05 2007-07-19 Fujifilm Corp 撮像装置及び撮影モード表示方法
JP4910584B2 (ja) * 2006-09-14 2012-04-04 日本電気株式会社 撮像装置、携帯電話、撮像制御方法、撮像制御プログラムおよびプログラム記録媒体
US7840071B2 (en) * 2006-12-12 2010-11-23 Seiko Epson Corporation Method and apparatus for identifying regions of different content in an image
DE102007019057A1 (de) * 2007-04-23 2008-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bestimmen eines Kanten-Histogramms, Vorrichtung und Verfahren zum Ablegen eines Bildes in einer Bilddatenbank, Vorrichtung und Verfahren zum Auffinden von zwei ähnlichen Bildern und Computerprogramm
JP2009177272A (ja) * 2008-01-22 2009-08-06 Sony Corp 撮像装置、その制御方法およびプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156860A (zh) * 2011-04-25 2011-08-17 北京汉王智通科技有限公司 车辆检测方法和装置
US8855368B2 (en) 2011-05-23 2014-10-07 Morpho, Inc. Image identification device, image identification method, and recording medium
CN102799854A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN102800080A (zh) * 2011-05-23 2012-11-28 株式会社摩如富 图像识别装置以及图像识别方法
CN102799854B (zh) * 2011-05-23 2016-09-28 株式会社摩如富 图像识别装置以及图像识别方法
US10037604B2 (en) 2012-06-14 2018-07-31 International Business Machines Corporation Multi-cue object detection and analysis
CN104350510A (zh) * 2012-06-14 2015-02-11 国际商业机器公司 多线索对象检测和分析
CN103679189A (zh) * 2012-09-14 2014-03-26 华为技术有限公司 场景识别的方法和装置
US9465992B2 (en) 2012-09-14 2016-10-11 Huawei Technologies Co., Ltd. Scene recognition method and apparatus
CN103679189B (zh) * 2012-09-14 2017-02-01 华为技术有限公司 场景识别的方法和装置
CN103617432B (zh) * 2013-11-12 2017-10-03 华为技术有限公司 一种场景识别方法及装置
CN103617432A (zh) * 2013-11-12 2014-03-05 华为技术有限公司 一种场景识别方法及装置
CN105184213A (zh) * 2014-06-12 2015-12-23 松下知识产权经营株式会社 图像识别方法、相机系统
CN109564173A (zh) * 2017-04-25 2019-04-02 翼视株式会社 图像检查装置、生产系统、图像检查方法、程序及存储介质
CN109564173B (zh) * 2017-04-25 2020-06-05 翼视株式会社 图像检查装置、生产系统、图像检查方法及存储介质
CN111553422A (zh) * 2020-04-28 2020-08-18 南京新空间信息科技有限公司 手术器械自动识别回收方法及系统

Also Published As

Publication number Publication date
JP4772839B2 (ja) 2011-09-14
JP2010045613A (ja) 2010-02-25
KR20100020903A (ko) 2010-02-23
US20100142807A1 (en) 2010-06-10
KR101324268B1 (ko) 2013-11-01
CN101650783B (zh) 2014-03-26
EP2154630A1 (en) 2010-02-17
US8363933B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
CN101650783B (zh) 图像识别方法以及摄像装置
CN103578116B (zh) 用于跟踪对象的设备和方法
CN102194115B (zh) 图像处理装置和图像处理方法
EP2833288B1 (en) Face calibration method and system, and computer storage medium
US20160086048A1 (en) Device and Method for Analyzing the Correlation Between an Image and Another Image or Between an Image and a Video
CN108701234A (zh) 车牌识别方法及云系统
CN102999750B (zh) 一种去除背景干扰的现场指纹增强方法
Zhang et al. Detecting and extracting the photo composites using planar homography and graph cut
US20120274991A1 (en) System and method for document orientation detection
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
JP5937823B2 (ja) 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム
CN108647264A (zh) 一种基于支持向量机的图像自动标注方法及装置
US10140555B2 (en) Processing system, processing method, and recording medium
Flor et al. PRNU-based source camera identification for multimedia forensics
CN104915641B (zh) 基于android平台获取人脸图像光源方位的方法
CN113989336A (zh) 一种可见光图像和红外图像配准方法及装置
CN105389818B (zh) 元件的定位方法和系统
US20100091125A1 (en) Template matching device, camera with template matching device, and program for allowing computer to carry out template matching
CN109726722A (zh) 一种字符分割方法及装置
US9243935B2 (en) Distance information estimating apparatus
CN102750718B (zh) 一种背景蒙版生成方法
CN111127529B (zh) 图像配准方法及装置、存储介质、电子装置
US11288537B2 (en) Image forensics using non-standard pixels
CN114140620A (zh) 一种物体直线轮廓检测方法
CN109242750B (zh) 图片签名方法、图片匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant