CN103620642A - 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序 - Google Patents

商品图像处理装置、商品图像处理方法、信息记录介质、以及程序 Download PDF

Info

Publication number
CN103620642A
CN103620642A CN201180071701.9A CN201180071701A CN103620642A CN 103620642 A CN103620642 A CN 103620642A CN 201180071701 A CN201180071701 A CN 201180071701A CN 103620642 A CN103620642 A CN 103620642A
Authority
CN
China
Prior art keywords
commodity
mentioned
images
dispersion degree
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180071701.9A
Other languages
English (en)
Other versions
CN103620642B (zh
Inventor
岩渊志学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN103620642A publication Critical patent/CN103620642A/zh
Application granted granted Critical
Publication of CN103620642B publication Critical patent/CN103620642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了从商品图像中得到表示商品特征的特征图像，从而商品图像处理装置(101)的受理部(102)受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像。计算部(103)，在构图内的每个位置，根据被受理的多个商品图像的每个商品图像在该位置的像素值，来计算该多个像素值的分散度。生成部(104)，生成基于在构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器。应用部(105)，通过对被受理的多个商品图像的每个商品图像应用所生成的过滤器，从而得到表示多个商品中的每个商品的特征的多个特征图像。

Description

商品图像处理装置、商品图像处理方法、信息记录介质、以及程序
技术领域
本发明涉及商品图像处理装置、商品图像处理方法、信息记录介质、以及程序。本发明尤其涉及从表示多个商品中的每个商品的商品图像中获得表示各商品的特征的特征图像的技术。
背景技术
近年来，人们提出了各种对拍摄商品、或者用绘图描绘商品而成的图像进行处理的图像处理技术。
例如，在下面的专利文献1中，提出了一种在广告单等上刊载的商品的图像中描绘了表示商品价格的文字的情况下，将商品本身的图像与商品价格的图像分离的技术。
另一方面，在化妆品、调味料等的商品中，使容器的外观一致来统一商品的品牌印象，提高顾客吸引力的情况也很多。例如，在准备了各种色彩的指甲油、口味不同的蛋黄酱中，有些情况下瓶子的形状被统一。
另外，在商品图像中，很多情况下采用在商品的周围设置了空白的构图。在该构图中，各商品以相同的朝向、相同的大小表现在相同的位置。即，在表示一群商品中的每个商品的多个商品图像中，很多情况下为了统一品牌印象而采用相同的构图。
在先技术文献
专利文献
专利文献1：日本特开2009-140058号公报
发明内容
发明要解决的课题
若对这样的商品图像进行缩略显示，则商品本身的大小变得极其小。例如，在上述示例中，在指甲油的情况下，透过瓶子可见的指甲油液的色彩不同，在蛋黄酱中，透过瓶子可见的蛋黄酱的色彩类似，虽然贴在瓶子上的标签中所描述的说明不同，但这些都很难辨别。
因此，强烈要求一种技术，使得从表示一群商品中的每个商品的商品图像中得到表示各商品的特征的特征图像、即在上述示例中使指甲油液的色彩、蛋黄酱的标签部分的文字容易看出的图像的技术。
本发明用于解决上述课题，其目的在于提供一种适于从商品图像中获得表示商品特征的特征图像的商品图像处理装置、商品图像处理方法、信息记录介质、以及程序。
用于解决课题的技术手段
本发明的第1观点涉及的商品图像处理装置，具备：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
上述的商品图像处理装置可以构成为，上述分散度，是上述位置处的多个像素值中的每个像素值与该多个像素值的平均之间的距离的、标准偏差、方差、最大值、或者最大值与最小值的差，或者是上述位置处的多个像素值之间的距离的最大值。
上述商品图像处理装置可以构成为，上述生成部，将对在上述共同的构图内的每个位置计算出的分散度应用单调递增函数后的结果作为该位置处的透过度。
上述的商品图像处理装置可以构成为，上述生成部，在上述过滤器中对在上述共同的构图内的每个位置计算出的分散度进行平滑化之后，应用规定的上述单调递增函数。
上述的商品图像处理装置可以构成为，上述生成部，在上述共同的构图内，在预先规定的大小的矩形区域内的分散度的总和为最大的位置配置该矩形区域，上述过滤器对该矩形区域进行剪辑。
上述的商品图像处理装置可以构成为，上述生成部，将上述分散度的直方图，相对于由
y＝f(x)来表示的曲线进行曲线拟合，上述曲线在x＝0处为极大、在x＝p处为极小、在x→∞处为y→0，
上述生成部，将对在上述共同的构图内的每个位置计算出的分散度应用单调递增函数后的结果作为该位置处的透过度，其中，该单调递增函数如果自变量小于p，则将0作为应用结果，如果自变量为p以上，则将1作为应用结果。
上述的商品图像处理装置可以构成为，上述曲线是依次通过坐标(0，A)、(p，B)、(q，C)、(r，0)、(∞，0)上的点的折线，
上述生成部，将A、B、C、p、q、r作为拟合参数来进行上述曲线拟合。
上述的商品图像处理装置可以构成为，还具备变换部，其提取被受理的上述多个商品图像的特征点，将被提取出的该特征点在该多个商品图像之间建立对应，对上述多个商品图像进行仿射变换，使得被建立对应的上述特征点彼此的位置在上述构图内的分散最小化，
上述计算部的计算，是针对上述仿射变换结束后的多个商品图像执行的。
本发明的第2观点涉及的商品图像处理方法，包括：
受理工序，受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算工序，在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成工序，生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用工序，通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
本发明的第3观点涉及一种记录了程序的非暂时性的信息记录介质，其特征在于，该程序使计算机作为如下部件发挥作用：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
本发明的第4观点涉及一种程序，使计算机作为如下部件发挥功能：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
本发明的程序，能够记录在光盘、软盘、硬盘、光磁盘、数字视频光盘、磁带、半导体存储器等的计算机可读取的、非暂时性的(non-transitory)信息记录介质中。
上述程序，能够与执行程序的计算机独立地，通过计算机通信网络等暂时性的(transitory)介质进行发布和销售。另外，上述信息记录介质能够与计算机独立地发布和销售。
发明效果
根据本发明，能够提供一种适于从商品图像中得到表示商品特征的特征图像的商品图像处理装置、商品图像处理方法、信息记录介质、以及程序。
附图说明
图1是表示本发明的一个实施方式涉及的商品图像处理装置的概要构成的说明图。
图2是表示商品图像的示例的说明图。
图3是表示商品图像中的分散度的说明图。
图4是表示特征图像的模样的说明图。
图5是表示商品图像处理的步骤的流程图。
图6是表示分散度和剪辑区域的模样的说明图。
图7是表示特征图像的模样的说明图。
图8A是表示对某个商品群的商品图像计算出的分散度的分布的直方图。
图8B是表示对某个商品群的商品图像计算出的分散度的分布的直方图。
图9A是在直方图中示出对折线进行曲线拟合(curve fitting)后的模样的说明图。
图9B是在直方图中示出对折线进行曲线拟合后的模样的说明图。
具体实施方式
以下对本发明的实施方式进行说明。本实施方式是用于说明而非限制本发明的范围。因此，本领域技术人员能够采用将这些各要素或者所有要素置换成与之等同的要素的实施方式，但这些实施方式也包含在本发明的范围内。
本实施方式涉及的商品图像处理装置，典型而言通过由计算机执行规定的程序来实现，但也可以由电子电路等构成后述的各部的功能，并作为专用装置来实现。
实施例1
图1是表示本实施方式涉及的商品图像处理装置的概要构成的说明图。以下参照本图进行说明。
本实施方式涉及的商品图像处理装置101具备：受理部102、计算部103、生成部104、以及应用部105。另外，在本图中，作为可省略的要素，图示了变换部106。
在此，受理部102受理以相同的构图表示多个商品中的每个商品的多个商品图像。
图2是表示商品图像的示例的说明图。以下，参照本图进行说明。
如本图所示，三张商品图像201a、201b、201c分别表示成组的彼此不同的商品202a、202b、202c的外观。假设这些商品202a、202b、202c，涉及相同厂家的相同系列的指甲油。
另外，以下，在以总称进行说明时，适当省略符号末尾的“a”“b”“c”等而提及。
在商品图像201是由制造商品202的厂家来提供的情况下，在商品图像201的构图中，按照惯例，配置商品202的位置、朝向、大小几乎是完全一致的。
另一方面，在销售商品202的店主采用数码相机等拍摄商品202的情况下，一般而言，被拍摄的图像的构图中的商品202的位置、朝向、大小会产生偏离。
这样的情况下，如果从被拍摄的多个图像中提取商品202的特征点，将多个图像中的特征点建立对应，并执行进行仿射变换(affinetransformation)等的变形的前处理，则能够使结果所得到的图像中配置商品202的位置、朝向、大小尽量一致。这样的仿射变换，例如能够通过采用将特征点的位置偏离乃至从单位矩阵进行仿射变换的偏离最小化这样的最小平方法来求出。
因此，通过在受理部102与计算部103之间插入进行这样的前处理的变换部106的处理，从而能够得到适于作为计算部103的处理对象的商品图像201。
另外，在对通过受理部102受理的多个商品图像201的构图进行共同化的前处理已经被执行的状况下，能够省略变换部106，而采用从受理部102直接将商品图像201传递给计算部103的形式。
另外，本图所示的商品202呈瓶子的形状。并且，商品202a、202b、202c的各自的瓶子的内容物203a、203b、203c的色彩彼此不同。在本图中，该色彩的不同通过影线的有无、影线的密度来表现。
另外，在商品202的瓶子的表面配置相同的logo标记204。
另外，在本图中，为了容易理解，而在商品202、瓶子的内容物203、logo标记204上描绘轮廓线，但在商品图像201是通过照片拍摄而得到的图像的情况下，一般而言不存在这样的轮廓线。
另外，在各商品图像201中以相同的构图配置商品202。本实施方式中，各商品图像2(1通过横向W个点、纵向H个点的像素的集合来表现。
以下，为了容易理解，而适当地将商品图像201a标记为img[0]、将商品图像201b标记为img[1]、将商品图像201c标记为img[2]，依此类推将第n张商品图像201标记为img[n]。在商品图像201总共为N张的情况下，将其分别标记为img[0]，img[1]，...，img[N-1]。
进而，将商品图像201img[n]中的横方向的位置x(0≤x＜W)、纵方向的位置y(0≤y＜H)所配置的像素的像素值标记为img[n](x，y)。
在商品图像201由24位颜色表现的情况下，一个像素值img[n](x，y)表现为3个字节(byte)的数据。因此，以下将像素值img[n](x，y)的红色成分、绿色成分、蓝色成分分别标记为img[n](x，y).r、img[n](x，y).g、img[n](x，y).b。
24位颜色中，img[n](x，y).r、img[n](x，y).g、img[n](x，y).b均取0至255的任一整数值。
此外，在15位颜色中，像素值img[n](x，y)表现为15位的数据，典型而言，被保存在2个字节的区域中。这种情况下，img[n](x，y).r、img[n](x，y).g、img[n](x，y).b均取0至31的任一整数值。
另外，在本发明中，只要能够计算与像素值之间的距离，则像素值的数值表现能够采用各种形式。即，能够采用基于减法混色的CMY(Cyan，Magenta，YelloW)表现、由色调、彩度、明度组成的HSV(Hue，Saturation，brightness Value)表现等各种颜色表现而不是如上述那样的RGB(Red，Green，Blue)表现。另外，表示颜色的数据的位数还可以适当进行变更。
另外，商品图像201，典型而言，以例如BMP(BitMap Picture format，位图图像格式)、JPEG(Joint Photographic Experts Group，联合图像专家组)等之类的电子文件形式被受理。在以JPEG等的压缩格式被受理的情况下，通过进行数据的解压，从而能够得到各商品图像201的各像素img[n](x，y)。
另外，本实施方式中，采用横向W个点、纵向H个点的长方形的构图，但只要对商品图像201中所含的各像素附加规定的顺序，并能够将该顺序与构图内的位置一对一地建立对应，则商品图像201整体的形状，不限于长方形，能够采用任意形状。
另外，计算部103，在相同的构图内的各个位置，根据被受理的多个商品图像201各自在该位置的像素值来计算该多个像素值的分散度(degree of scattering)。
本实施方式中，受理img[0]，img[1]，...，img[N-1]作为商品图像201。构图内的位置由0≤x＜W乃至0≤y＜H的所有组合来表现。该组合总共为W×H个。
计算部103，针对构图内的各位置(x，y)获取N个像素值
img[0](x，y)，img[1](x，y)，...，img[N-1](x，y)
并计算它们的分散度。
在此，所谓分散度，是统计学上广泛采用的概念，是表示样本值以何种程度扩散、以何种程度不密集的程度的量。被广泛采用的分散度包括以下内容：
(1)方差。各样本值与样本值的平均之差的平方平均。
(2)标准偏差。方差的平方根。
(3)范围(range)。各样本值的最小值与最大值的差。
(4)各样本值与样本值的平均之差的最大值。
本实施方式中，以RGB表现来表现像素值。某个位置(x，y)的像素值的平均ave(x，y)能够按照以下算式来计算。
ave(x，y).r＝∑n＝0 N-1img[n](x，y).r／N；
ave(x，y).g＝∑n＝0 N-1img[n](x，y).g／N；
ave(x，y).b＝∑n＝0 N-1img[n](x，y).b／N
另外，两个像素值P、Q的差，能够由该两个像素值在颜色空间的距离来表现。作为像素值P、Q的距离dist(P，Q)，能够利用例如，欧几里德(Euclid)距离
di st(P，Q)＝〔(P.r-Q.r)2+(P.g-Q.g)2+(P.b-Q.b)2〕1/2、
曼哈顿(Manhattan)距离
di st(P，Q)＝|P.r-Q.r|+|P.g-Q.g|+|P.b-Q.b|，
此外，还能够采用基于颜色空间的定义而规定的各种颜色距离。
这样，某个位置(x，y)处的方差var(x，y)以及标准偏差sdev(x，y)，便能够按照下述算式来计算。
var(x，y)＝∑n＝0 N-1dist(img[n](x，y)，ave(x，y))2／N；
sdev(x，y)＝var(x，y)1/2
另外，范围range(x，y)以及与平均之差的最大值maxdis t(x，y)，能够按照以下算式来计算。
range(x，y)＝maxi＝0 N-1dist(img[i](x，y)，ave(x，y))-mini＝0 N-1di st(img[i](x，y)，ave(x，y))；
maxdist(x，y)＝maxi＝0 N-1dist(img[i](x，y)，ave(x，y))
这样，作为某个位置(x，y)处的分散度sca(x，y)，可以采用var(x，y)，sdev(x，y)，range(x，y)，maxdi st(x，y)等。
关于在此所得到的分散度sca(x，y)，如果像素值
img[0](x，y)，img[1](x，y)，...，img[N-1](x，y)
全部一致，则该分散度为0，上述这些像素值越不同，则该分散度变得越大。
因此，如果分散度sca(x，y)较大，则表示外观类似的商品202的多个商品图像201在位置(x，y)处的图像之间的差异较大。即，分散度sca(x，y)大的位置(x，y)，能够作为各商品的特征部位的候补。
此外，本实施例中的像素值由于采用RGB表现，因此不能直接得到像素值的最大值／最小值。因而，作为与范围(range)相当的分散度，可以采用以下这样的方法：按照上述算式求出像素值之间的各距离，并采用其中的最大值作为分散度。
即，利用
range’(x，y)＝maxi＝0 N-1 j＝i+1 N-1dist(img[i](x，y)，img[j](x，y))。
图3是表示图2所示的商品图像201中的分散度的说明图。以下，参照本图进行说明。
本图中，在表示构图整体的框线301中，分散度为0的地方用白色表示，通过对分散度高的区域302施以影线，从而表示分散度。
分散度高的区域302，在图2中相当于商品202的内容物203的指甲油液可见的区域。除此以外的部分，由于各商品202中相同，因此以白色来表示。
在此，在相同形状的瓶子中收纳的指甲油中，被认为透过瓶子可见的指甲油液的色彩是该指甲油的特征部分。
下面考虑其他示例。在相同形状的瓶子中收纳的各种调味的蛋黄酱中，在标签部分标记的“○○风味”等的表示调味的部分，相当于该蛋黄酱的特征部分，但该部分在商品图像201内具有彼此不同的像素值。因此，被认为蛋黄酱的特征部分的分散度sca(x，y)的值大。
本实施方式中，分散度sca(x，y)的值大的部分、即图3中的示例中被施以影线的部分，被推定为是各商品图像201中的各商品202的特征部分。
因而，生成部104，生成基于在相同的构图内的各个位置所计算出的分散度而规定了该位置的透过度的过滤器(filter)。
本实施方式的过滤器中的位置(x，y)的透过度trans(x，y)，采用单调递增函数minc(.)，可以表现为
trans(x，y)＝minc(sca(x，y))。
更简单的过滤器为，如果构图内的各位置(x，y)的分散度sca(x，y)为0，则设为不透过(透过度0)，如果不是0，则设为完全透过(透过度1)。这在情况下，单调递增函数minc(s)能够表现为如下：
minc(s)＝0(s＝0)；
        ＝1(s≠0)
另外，还可以采用利用阈值p，当小于p时，则设为不透明，当为p以上时，则设为完全透明的过滤器。这在情况下的单调递增函数成为：
minc(s)＝0(s＜p)；
        ＝1(s≥p)。
另外，关于规定阈值p的方法，在后述的实施例3中进行说明。
此外，还可以采用分散度sca(x，y)的最大值max0≤x＜w，0≤y＜Hsca(x，y)、或者分散度sca(x，y)在理论上能取的上限值U，准备
minc(s)＝s／〔max0≤x＜w，0≤y＜H sca(x，y)〕
或者、
minc(s)＝s／U
这样的、还包含半透明作为透过度的单调递增函数。
另外，在24位颜色中，欧几里德距离中的上限值为
Figure BDA0000439594780000111
Figure BDA0000439594780000112
曼哈顿距离中的上限值为U＝255×3＝765。同样地，15位颜色中，欧几里德距离中的上限值为
Figure BDA0000439594780000113
曼哈顿距离中的上限值为U＝31×3＝103。
在此所生成的过滤器，在横向W个点、纵向H个点的图像中以透过度minc(sca(x，y))使各位置(x，y)的像素透过。
透过度minc(sca(x，y))实现与所谓的α值类似的作用。α值，一般而言，0为完全透明，1或者上限值为完全不透明，因此与本实施方式的透过度处于彼此互补的关系。
在透过度minc(sca(x，y))仅取0或1中的任一方作为值的情况下，上述过滤器能够由W×H位来表现。
另外，在将透过度作为256个等级的固定小数点表现的情况下，典型而言，按比例分配为：字节值0表示透过度0，字节值255表示透过度1，字节值t表示透过度t／255。
然后，应用部105通过对被受理的多个商品图像201的每一个应用所生成的过滤器，从而得到表示多个商品中的每个商品的特征的多个特征图像。
如上所述，被受理的商品图像201是img[0]，img[1]，...，img[N-1]这N张。因而，针对满足0≤n＜N的整数n，通过对第n张的img[n]应用上述的过滤器，从而得到特征图像res[n]。
本实施方式中，特征图像res[n]具有与商品图像201相同的横向W个点、纵向H个点的大小。
应用部105，针对满足0≤n＜N的各个n，按照以下方式应用上述的过滤器。在此，像素值C表示进行过滤处理时的蒙板(mask)的颜色。
res[n](x，y).r＝minc(sca(x，y))×img[n](x，y).r+〔1-minc(sca(x，y))〕×C.r；
res[n](x，y).g＝minc(sca(x，y))×img[n](x，y).g+〔1-minc(sca(x，y))〕×C.g；
res[n](x，y).b＝minc(sca(x，y))×img[n](x，y).b+〔1-minc(sca(x，y))〕×C.b
在透过度minc(sca(x，y))所取的值是0或1中的任一个的情况下，能够直接使用C或img[n](x，y)中的任一方来作为像素值res[n](x，y)。因此，这种情况下，不需要进行上述的乘法运算。
图4是表示通过在商品图像201中应用上述的过滤器而得到的特征图像的模样的说明图。以下参照本图进行说明。
如本图所示，在特征图像401a、401b、401c中仅选出可看见瓶中的指甲液的部分402a、402b、402c。另外，被选出的部分402a、402b、402c的色彩，与瓶子的内容物203a、203b、203c相同。这样，能得到表示指甲油液的颜色、即商品202的特征的特征图像401。
另外，在上述实施方式中，位置(x，y)的透过度trans(x，y)仅参照位置(x，y)处的分散度sca(x，y)而决定，但在商品图像201中包含各种噪声的情况下，多数情况下最好进行平滑化。
为了进行这样的平滑化，能够例如下述算式那样采用取上下左右与中央的(加权)平均的方法，
trans(x，y)＝minc(〔sca(x，y)×4
               +sca(x-1，y)
               +sca(x+1，y)
             +sca(x，y-1)
             +sca(x，y+1)〕／8)
或
trans(x，y)＝minc(〔sca(x，y)
             +sca(x-1，y)
             +sca(x+1，y)
             +sca(x，y-1)
             +sca(x，y+1)〕／5)
另外，由于位置(x，y)处于图像的最外侧的周边、即x＝0，y＝0，x＝W-1，y＝H-1中的至少一个成立，因而其上下左右处于图像的位置范围的外侧的情况下，作为超出的地方的值，既可以直接利用sca(x，y)，也可以采用值0等。
为了这样的平滑化，能够直接应用图像处理中的去噪过滤器、去高频成分过滤器的各种技术。例如，也可以在不仅对位置(x，y)的上下左右进行加权平均，而且对其周围的某种程度的范围进行加权平均之后，来应用单调递增函数。
另外，作为单调递增函数，在采用返回0与1之间的值作为结果的函数的情况下，在特征图像401中，成为特征的部分，以与原始商品图像201中的色彩相近的色彩被描绘，类似的部分以与像素值C相近的色彩被描绘。因此，仅采用这样的单调递增函数，便能进行平滑化。
另外，以下，针对商品图像处理装置101通过执行程序的计算机来实现的情况下的处理步骤进行说明。
图5是表示由商品图像处理装置101执行的商品图像处理的步骤的流程图。以下参照本图进行说明。
本实施方式的商品图像处理方法，是以计算机从非暂时性信息记录介质中读出程序，或者经由信号线等的传送介质而获取程序，并开始程序的解释执行为契机而开始的。
在此，计算机的控制由CPU(Central Processing Unit，中央处理器)来负责，程序、临时的数据等被存储在RAM(Random Access Memory，随机存取存储器)中。
若本处理开始，则首先受理部102受理商品图像201(步骤S501)。
本处理是通过由读取设备从各种存储卡中读出数据，或者由网络接口卡从通信网络等中读出数据，或者由CPU对记录了商品图像201的硬件等进行控制并读出商品图像201而实现的。
被受理的商品图像201的信息，为了实施后述的处理而被储存在RAM(Random Access Memory)等中。
接着，计算部103计算商品图像201的各位置的分散度(步骤S502)，生成部104生成过滤器(步骤S503)。
这些计算和生成，是CPU、图像处理计算协处理器(coprocessor)等基于在RAM内储存的商品图像201的数据而进行的。通过计算而得到的各位置的分散度被暂时储存在RAM内，根据该分散度生成过滤器，并储存在RAM内。
最后，应用部105将过滤器应用于商品图像201，得到特征图像401(步骤S504)，并结束本处理。
本应用处理，是CPU、图像处理计算协处理器等基于在RAM内储存的商品图像201的数据乃至过滤器的数据而进行的。
所得到的特征图像401在被暂时输出给RAM之后，保存在存储卡、硬件等中，或者经由通信网络而传送给外部。
另外，商品图像处理装置101，还可通过采用电子电路的专用硬件而实现。另外，也可以将与本实施方式同样的算法作为程序来描述，在将该程序编译为电子电路的构成信息之后，采用FPGA(Field ProgrammableGate Array，现场可编程门阵列)构成电子电路。
此外，根据本实施方式，能够从商品图像201中通过简单的计算来提取商品的特征部分，或者能够得到所强调的特征图像401。另外，因得到提取了特征部分等的特征图像401，从而多个商品图像201之间的比较变得很容易。
以下，针对本实施方式的变形例进行说明。
实施例2
上述实施方式的过滤器中，商品图像201与特征图像401由纵横相同的点数而构成。本实施方式中的过滤器，进行将商品图像201的一部分选出的剪辑(clipping)处理，特征图像401的纵横点数，比商品图像201的纵横点数更小。
例如，在网络销售中将商品呈现给购买者的情况下，在商品的详细说明画面中直接显示商品图像201，在以表或列表的形式对商品进行一览显示并使之比较的情况下，有时将商品图像201缩小为相同的大小之后进行图标显示。然而，若单纯缩小，则很多情况下商品的差异变得不醒目。
因而，本实施方式中，基于分散度来构成选出商品图像201的一部分的过滤器。
以下，作为特征图像401，假设是横向K个点、纵向J个点的图像。即，剪辑区域的大小也成为横向K个点、纵向J个点。
图6是表示分散度和剪辑区域的模样的说明图。以下，参照本图进行说明。
与图3同样地，本图中，在表示构图整体的框线301中，存在分散度高的区域302。与此相对地，作为示例，配置相同大小的四个剪辑区域601a、601b、601c、601d。各剪辑区域601的轮廓以虚线来图示。
剪辑区域601a，与分散度高的区域302完全不重叠。
剪辑区域601b左下侧的一部分与分散度高的区域302重叠。
剪辑区域601c右侧的大约一半与分散度高的区域302重叠。
剪辑区域601d的一大半与分散度高的区域302重叠。
因此，被认为四个剪辑区域601a、601b、601c、601d中、能够最佳地提取商品特征的是剪辑区域601d。
一般而言，若给出商品图像201的构图内的剪辑的开始位置(f，g)，则特征图像401的位置(x，y)处的像素值res[n](x，y)能够表现为：
res[n／(x，y)＝img[n](x+f，y+g)。
在此，在特征图像401中，0≤x＜K，0≤y＜J。
本实施方式中，开始位置(f，g)基于分散度而决定。在此，分散度表示被估计为特征性部分的程度，因此只要求出将评价函数
φ(f，g)＝∑x＝0 K-1∑y＝0 J-1img[n](x+f，y+g)
最大化的(f，g)即可。
因而，在本实施方式中，生成部104针对0≤f＜W-K，0≤g＜H-J的各个(f，g)，计算评价函数φ(f，g)，采用能得到最大计算结果的(f，g)作为剪辑的开始位置。
另外，针对0≤f＜W-K，0≤g＜H-J的各个(f，g)计算评价函数φ(f，g)的情况下，需要大量的计算。在该情况下，假设针对f，每隔间隔K、或者每隔间隔K／2来间取计算评价函数φ(f，g)；针对g，每隔间隔J、或者每隔间隔J／2来间取计算评价函数φ(f，g)，也可以从间取的候补中选出开始位置(f，g)。
图7是表示通过使用采用了剪辑方式的过滤器而得到的特征图像的模样的说明图。以下参照本图进行说明。
本图所示的特征图像701用框线来明示。
这些特征图像701a、701b、701c，分别与图4所示的特征图像401a、401b、401c对应，特征图像701的尺寸小于特征图像401。
另外，图4所示的特征图像401a、401b、401c，是对原始的商品图像201a、201b、201c的像素施以改变之后的图像，本图所示的特征图像701a、701b、701c，是将原始的商品图像201a、201b、201c的一部分直接选出之后的图像。
即，本实施例的采用了剪辑方式的过滤器，在上述的方式中，基于分散度来规定商品图像内的哪个位置透过，哪个位置不透过，进而规定构图内的剪辑区域的位置，使得透过的面积成为最大。
在规定了剪辑区域之后，如本图所示，既可以直接从原始的商品图像201中选出，也可以应用如上述那样规定的透过处理和剪辑处理双方。
通过本实施方式得到的特征图像701，是以小的尺寸选出商品图像201的特征部分而形成的图像，在对与商品图像201相关的商品202进行一览显示的情况下等，通过取代将商品图像201缩小的图标，或者除了将商品图像201缩小的图标之外，将本特征图像701直接以等倍方式、或者适当放大缩小后进行利用，从而能够将商品特征以易懂的方式呈现给用户。
另外，本实施方式还可以与上述实施方式组合进行利用。
例如，还可在进行了实施例1中的透过处理之后，生成进行了实施例2中的剪辑处理的过滤器，通过该过滤器从商品图像201中得到特征图像。这种情况下，能同时进行特征部分的强调和提取。
实施例3
本实施方式，采用商品图像201的分散度的直方图来适应性地规定单调递增函数。
图8A、图8B分别为表示针对某个商品群的商品图像计算出的分散度的分布的直方图。以下，参照这些图来进行说明。这些图的横轴(x轴)表示分散度，纵轴(y轴)表示频度。
由这些图明显可知，直方图801在x＝0附近出现大的峰值，随着x的增加而减少之后，经过几个峰值最终回落到x轴。
在以照片方式拍摄商品的情况下，由于存在拍摄时的噪声的影响，因此即使对相同的商品进行了多次拍摄，也得不到完全相同的商品图像。在这情况下，若假定噪声遵循正态分布规律，则被认为分散度遵循在x＝0处为最大，之后衰减的卡方(chi-squate)分布的规律。
另一方面，在对一群相互类似的商品进行拍摄而得到拍摄图像的情况下，因商品之间的不同部分而引起的峰值出现在x增加的中途。该峰值被认为类似于正态分布。
在x增加的中途出现的峰值，在图8A中有一个，在图8B中有两个。可以认为这些峰值出现之前的部分是表示商品的共同部分的分散度，之后的部分是表示商品的特征部分的分散度。
在此，考虑采用具有六个拟合参数(fitting parameter)A，B，C，p，q，r，且按顺序通过坐标(0，A)，(p，B)，(q，C)，(r，0)，(∞，0)的折线，来对直方图的形状进行近似。
图9A、图9B，是表示在图8A、图8B所示的直方图801a、801b中对折线进行曲线拟合(curve fitting)后的模样的说明图。以下参照本图进行说明。
本图中，为了容易理解，分别以虚线来标记直方图801，以实线来标记对直方图801进行近似的折线802。
如本图所示，若采用最小平方法对直方图801进行折线802的曲线拟合，并确认参数A，B，C，p，q，r，则折线802的最初的极小点(p，B)被置于直方图801的最初的极小点803的附近。
因而，在过滤器生成时，如果利用如下这样的单调递增函数：
minc(s)＝0(s＜p)；
        ＝1(s≥p)
则能够适应性地决定商品的共同部分与特征部分之间的分界处的分散度p。
另外，能够作为曲线拟合的对象的曲线，不限于上述的折线，一般而言，可以采用由
y＝f(x)
来表示，在x＝0处成为极大，在x＝p处成为极小，在x→∞处y→0的曲线。
采用最小平方法对规定这样的曲线形状的拟合参数进行调整，并曲线拟合为直方图，从而决定商品的共同部分与特征部分的分界处的分散度p。
例如，在上述的假设情况下，能够将对卡方分布加上一个以上的正态分布所得的分布作为曲线。这种情况下，卡方分布的大小、范围、正态分布的位置、大小、范围等成为拟合参数。
此外，也可以对表示逐渐衰减的曲线的函数、和具有峰值的函数之间的线性和所表示的曲线进行曲线拟合，来求出最初的极小点。
另外，不限于最初的极小点，还可以采用选择第2个以后的极小点作为阈值p的候补，将特征图像的候补提示给用户，让用户进行选择的形式。
根据本实施方式，能够以简单的计算在商品图像中适应性地分离商品的共同部分和特征部分。
产业上的可利用性
根据本发明，能够提供一种适于从商品图像中得到表示商品特征的特征图像的适当的商品图像处理装置、商品图像处理方法、信息记录介质、
以及程序。
符号说明
101  商品图像处理装置
102  受理部
103  计算部
104  生成部
105  应用部
106  变换部
201  商品图像
202  商品
203  内容物
204 logo标记
301  框线
302  分散度高的区域
401  特征图像
601  剪辑区域
701  特征图像
801  直方图
802  折线
803  直方图的最初的极小点

Claims (11)

1.一种商品图像处理装置，其特征在于，具备：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
2.根据权利要求1所述的商品图像处理装置，其特征在于，
上述分散度，是上述位置处的多个像素值中的每个像素值与该多个像素值的平均之间的距离的、标准偏差、方差、最大值、或者最大值与最小值的差，或者是上述位置处的多个像素值之间的距离的最大值。
3.根据权利要求1所述的商品图像处理装置，其特征在于，
上述生成部，将对在上述共同的构图内的每个位置计算出的分散度应用单调递增函数后的结果作为该位置处的透过度。
4.根据权利要求3所述的商品图像处理装置，其特征在于，
上述生成部，在上述过滤器中对在上述共同的构图内的每个位置计算出的分散度进行平滑化之后，应用规定的上述单调递增函数。
5.根据权利要求1所述的商品图像处理装置，其特征在于，
上述生成部，在上述共同的构图内，在预先规定的大小的矩形区域内的分散度的总和为最大的位置配置该矩形区域，上述过滤器对该矩形区域进行剪辑。
6.根据权利要求1所述的商品图像处理装置，其特征在于，
上述生成部，将上述分散度的直方图，相对于由
y＝f(x)
来表示的曲线进行曲线拟合，上述曲线在x＝0处为极大、在x＝p处为极小、在x→∞处为y→0，
上述生成部，将对在上述共同的构图内的每个位置计算出的分散度应用单调递增函数后的结果作为该位置处的透过度，其中，该单调递增函数如果自变量小于p，则将0作为应用结果，如果自变量为p以上，则将1作为应用结果。
7.根据权利要求6所述的商品图像处理装置，其特征在于，
上述曲线是依次通过坐标(0，A)、(p，B)、(q，C)、(r，0)、(∞，0)上的点的折线，
上述生成部，将A、B、C、p、q、r作为拟合参数来进行上述曲线拟合。
8.根据权利要求1所述的商品图像处理装置，其特征在于，
上述商品图像处理装置还具备变换部，该变换部提取被受理的上述多个商品图像的特征点，将被提取出的该特征点在该多个商品图像之间建立对应，对上述多个商品图像进行仿射变换，使得被建立对应的上述特征点彼此的位置在上述构图内的分散最小化，
上述计算部的计算，是针对上述仿射变换结束后的多个商品图像执行的。
9.一种商品图像处理方法，其特征在于，包括：
受理工序，受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算工序，在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成工序，生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用工序，通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
10.一种记录了程序的非暂时性的信息记录介质，其特征在于，该程序使计算机作为如下部件发挥作用：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
11.一种程序，其特征在于，使计算机作为如下部件发挥功能：
受理部，其受理将多个商品中的每个商品以共同的构图来进行表示的多个商品图像；
计算部，其在上述共同的构图内的每个位置，根据被受理的上述多个商品图像的每个商品图像在该位置的像素值来计算多个该像素值的分散度；
生成部，其生成基于在上述共同的构图内的每个位置计算出的分散度来规定该位置处的透过度的过滤器；和
应用部，其通过对被受理的上述多个商品图像的每个商品图像应用被生成的上述过滤器，从而得到表示上述多个商品中的每个商品的特征的多个特征图像。
CN201180071701.9A 2011-06-28 2011-06-28 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序 Active CN103620642B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/064761 WO2013001599A1 (ja) 2011-06-28 2011-06-28 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム

Publications (2)

Publication Number Publication Date
CN103620642A true CN103620642A (zh) 2014-03-05
CN103620642B CN103620642B (zh) 2015-03-11

Family

ID=47423545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071701.9A Active CN103620642B (zh) 2011-06-28 2011-06-28 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序

Country Status (6)

Country Link
US (1) US8873862B2 (zh)
EP (1) EP2713334B1 (zh)
JP (1) JP5265058B1 (zh)
CN (1) CN103620642B (zh)
ES (1) ES2561182T3 (zh)
WO (1) WO2013001599A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255703B2 (en) * 2015-12-18 2019-04-09 Ebay Inc. Original image generation system
CN113073039B (zh) * 2021-03-23 2022-09-06 重庆民朗科技有限公司 一种比色法血培养判读方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078074A (ja) * 1999-09-01 2001-03-23 Hitachi Ltd デジタルカメラ
JP2009512038A (ja) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド 複数の画像フレームに基づいて結合画像を生成する方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146510A (en) * 1989-02-09 1992-09-08 Philip Morris Incorporated Methods and apparatus for optically determining the acceptability of products
US5237621A (en) * 1991-08-08 1993-08-17 Philip Morris Incorporated Product appearance inspection methods and apparatus employing low variance filter
JPH09270002A (ja) * 1996-04-03 1997-10-14 Matsushita Electric Ind Co Ltd 物体強調手段
US6137903A (en) * 1997-06-03 2000-10-24 Linotype-Hell Ag Color transformation system based on target color image
KR100402043B1 (ko) 1998-09-30 2003-10-17 가부시키가이샤 히타치세이사쿠쇼 비접촉형 화상 판독 장치 및 그것을 이용한 시스템
AU4747800A (en) * 2000-04-14 2001-10-30 Orlean Holding N.V. An improved system and method for digitally editing a composite image
US7120300B1 (en) * 2002-05-14 2006-10-10 Sasken Communication Technologies Limited Method for finding representative vectors in a class of vector spaces
US7302094B2 (en) * 2004-08-27 2007-11-27 Autodesk, Inc. Transparency and/or color processing
JP5198838B2 (ja) 2007-12-04 2013-05-15 楽天株式会社 情報提供プログラム、情報提供装置、及び情報提供方法
US8380008B2 (en) * 2008-05-02 2013-02-19 Apple Inc. Automatic image cropping
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078074A (ja) * 1999-09-01 2001-03-23 Hitachi Ltd デジタルカメラ
JP2009512038A (ja) * 2005-10-12 2009-03-19 アクティブ オプティクス ピーティーワイ リミテッド 複数の画像フレームに基づいて結合画像を生成する方法

Also Published As

Publication number Publication date
CN103620642B (zh) 2015-03-11
WO2013001599A1 (ja) 2013-01-03
US20140185935A1 (en) 2014-07-03
EP2713334A4 (en) 2014-11-19
EP2713334A1 (en) 2014-04-02
JP5265058B1 (ja) 2013-08-14
US8873862B2 (en) 2014-10-28
JPWO2013001599A1 (ja) 2015-02-23
ES2561182T3 (es) 2016-02-24
EP2713334B1 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
US9569827B2 (en) Image processing apparatus and method, and program
US8550366B2 (en) Method, apparatus and computer program for embedding barcode in color image
US9143657B2 (en) Color enhancement technique using skin color detection
US8411983B2 (en) Method and apparatus for producing a contrast enhanced image
US7545976B2 (en) Method and apparatus for associating image enhancement with color
CN108027961A (zh) 用于逆色调映射的方法和装置
Ancuti et al. Image and video decolorization by fusion
Lee et al. Color image enhancement using histogram equalization method without changing hue and saturation
Abebe et al. Towards an automatic correction of over-exposure in photographs: Application to tone-mapping
CN103620642B (zh) 商品图像处理装置、商品图像处理方法、信息记录介质、以及程序
US11308344B2 (en) Image processing apparatus, image forming apparatus, display apparatus, image processing method, and storage medium
EP3143549B1 (en) Segmentation based image transform
EP2469834A1 (en) Image processing method, image processing device, and program
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
Hanumantharaju et al. Adaptive color image enhancement based geometric mean filter
US20140133778A1 (en) Image processing apparatus, image adjusting apparatus, image processing method and computer readable medium
WO2012153661A1 (ja) 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体
WO2012099013A1 (ja) 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体
Yun et al. A contrast enhancement method for HDR image using a modified image formation model
CN106485206A (zh) 基于化妆的视频图片结合的教学方法及装置
AU2011200830B2 (en) Method, apparatus and system for modifying quality of an image
Ghimire et al. Nonlinear transfer function-based image detail preserving dynamic range compression for color image enhancement
Alsam Colour constant image sharpening
Sazzad et al. Use of gamma encoder on HSL color model improves human visualization in the field of image processing
Zeng et al. A new method for skin color enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.