CN105100543A - 对象布置方法和设备 - Google Patents
对象布置方法和设备 Download PDFInfo
- Publication number
- CN105100543A CN105100543A CN201410161937.7A CN201410161937A CN105100543A CN 105100543 A CN105100543 A CN 105100543A CN 201410161937 A CN201410161937 A CN 201410161937A CN 105100543 A CN105100543 A CN 105100543A
- Authority
- CN
- China
- Prior art keywords
- template
- parameter distribution
- distance
- parameter
- container
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及对象布置方法和设备。一种对象布置方法,包括:模板选择步骤,根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板,其中,对象的参数与各对象的至少一个属性关联,对象容器的参数与各对象容器的至少一个特性关联;以及对象布置步骤,根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
Description
技术领域
本发明一般地涉及对象布置方法和设备,更具体地,涉及将各对象(例如,照片)布置到用于容纳对象的对象容器(例如,模板中的照片占位符),并且,布置结果可通过网络或通信线路被输出到外部装置以应用于诸如印刷、切割、包装等各种领域,或者可被输出到各种显示装置以在其上进行显示。
背景技术
近年来,随着成像技术的进步,诸如静止照相机和/或摄像机之类的数字照相机被广泛用于捕获大量的照片,并且各种扫描装置也被用于通过扫描而获得很多图像。这里,诸如照相机或扫描仪的用于获得图像的装置可被称为成像装置。大量的图像可被存储在存储卡或磁盘中,并且还可在显示装置上被观看。
尽管生成诸如上述的照片之类的对象已经变得较为容易,但是布置这样的对象(例如,将它们布置到片材材料的页或者可在上面布置对象的其他空间以便制作电子相册或物理相册等)对于用户来说常常是一个挑战。必须人工搜寻成百上千或者甚至成千上万个数字图像来组织图像是一个会花费长的时间的单调乏味的过程。
使用模板来布置对象会使得上述组织过程更容易,但是该过程仍需要很多人工操作。因此,已经提出了自动化的方法来用模板布局对象。但是,在现有技术中,没有充分考虑模板的合理性。
例如,美国专利申请No.US2010/0289818A1公开了“Imagelayoutdevice,imagelayoutmethod,andstoragemedium”(图像布局装置、图像布局方法和存储介质),其中,根据图像的属性以及特定模板的图像占位符的顺序和属性,该图像被布局到该模板的图像占位符。也就是说,在该美国专利申请中,在一个模板的情况下进行图像的布局,并且,在其中没有公开详细的用于选择模板的方法。
另一个美国专利申请No.US2007/0064278A1公开了“Method,apparatus,andprogramforlayingoutimages”(用于布局图像的方法、设备和程序),其提到了一种用于选择模板的方法。在该方法中,照片占位符的数量与一页中照片的数量相同的模板被选择用于该页。但是,这样的方法没有考虑模板的适用性和合理性。例如,如果有多个模板都满足简单的要求,例如,照片占位符的数量与一页中照片的数量相同,那么所述另一个美国专利申请不能区分这些模板,因此,这些模板中的任一个都可能被选择。也就是说,可能会选择不大匹配的模板,而最匹配的模板可能没有选中。换而言之,该方法为对象选择的可能是不合适的模板。
发明内容
鉴于以上这些,如何为一组对象选择合适的模板以便将这些对象适当地和/或令人满意地布置到模板的对象容器中是期望解决的技术问题。
本发明旨在解决上述的问题。本发明的一个目的是提供一种解决以上问题中的任何一个的方法和设备。
本发明的发明人认识到,从设计者和用户(例如,相册消费者)的视角来说,实现充分反映用户意图的布局效果更好。反映用户意图的方法可以如下这样:较重要的诸如照片的对象(即,高用户偏好)被放在较重要的诸如照片占位符的对象容器(即,具有高的布置优先级)中,较不重要的对象(即,低用户偏好)被放在较不重要的对象容器中(即,具有低的布置优先级)。
因此,根据对象的布局因素(包括其属性和/或特性),例如,对象的用户偏好分布来选择模板是合理的和合适的。
更具体地,在本发明中,在选择模板时,考虑对象的用户偏好分布,在将对象布局到模板的对象容器中时,考虑对象的用户偏好与对象容器的优先级之间的匹配关系。
这样,能够获得合适的且合理的对象布局结果,其中,能够恰当地展现用户偏爱的对象。
根据本发明的一个方面,提供一种对象布置方法,包括:模板选择步骤,根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板,其中,对象的参数与各对象的至少一个属性关联,对象容器的参数与各对象容器的至少一个特性关联;以及对象布置步骤,根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
根据本发明的另一个方面,提供一种对象布置设备,包括:模板选择单元,被配置为根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板,其中,对象的参数与各对象的至少一个属性关联,对象容器的参数与各对象容器的至少一个特性关联;以及对象布置单元,被配置为根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
另外,上述对象的参数可以用于反映用户偏好。此外,上述对象容器的参数可以用于反映布置优先级。
通过考虑对象的参数分布和模板中的对象容器的参数分布,根据本发明的对象布置方法和设备能够获得合适的且合理的对象布局结果,其中,能够恰当地展现用户偏爱的对象。
参照附图阅读示例性实施例的以下描述,本发明的其他特性特征和优点将变得清晰。
附图说明
并入到说明书中并且构成说明书一部分的附图示出了本发明的实施例,并且与描述一起用于解释本发明的原理。在这些附图中,类似的附图标记用于表示类似的项。
关于以下附图来描述本发明的一些实施例:
图1是示例性地示出用于实现根据本发明的对象布置方法和设备的计算装置的配置的框图;
图2示例性地示出根据本发明的实施例的对象布置方法的流程图;
图3示例性地示出根据本发明的实施例的另一种对象布置方法的流程图;
图4示意性地示出示例性的模板选择方法的流程图;
图5示意性地示出另一种示例性的模板选择方法的流程图;
图6示意性地示出再一种示例性的模板选择方法的流程图;
图7是示例性地示出根据本发明的实施例的对象布置设备的框图;
图8示意性地示出模板中的照片占位符的布局顺序;
图9(A)和图9(B)示意性地示出当对象的输入顺序重要时本发明和现有技术的布置结果;
图10(A)和图10(B)示意性地示出当对象的输入顺序不重要时本发明和现有技术的布置结果。
具体实施方式
以下将参照附图详细描述本发明的实施例。
应当注意,以下的实施例并不意欲限制所附权利要求的范围,并且在实施例中描述的特征的所有组合对于解决本发明的技术问题并不一定是必需的。以下描述的本发明的实施例中的每一个都可单独地实施,或者在必要的情况下或在单个实施例中组合来自各个实施例的要素或特征是有益的情况下作为多个实施例或者它们的特征的组合来实施。
在本公开中,可以通过软件、硬件、固件或者其任意组合来实施被配置为执行对象的布置的本发明的设备的每个单元、部件和/或组件。另外,可以通过软件、硬件、固件或者其任意组合来实施根据本发明的对象布置方法。也就是说,本发明的方法和设备不限于其实现方式,并且,本发明的保护范围仅由所附的权利要求限定。
而且,在本公开中,步骤的执行顺序不是必须要按照流程图所示出和实施例中所提到的那样,而是可以根据实际情况来灵活变通的,即,本发明不应该受到流程图所示出的步骤的执行顺序的限制。
下面将参照附图来详细描述本发明的示意性实施例。
图1是示例性地示出能够实现本发明的实施例的计算机系统1000的示例性硬件配置的框图。
如图1中所示,计算机系统1000包括计算机1110。计算机1110包括经由系统总线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接口1140、可移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出外围接口1195。
系统存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留在ROM1131中。操作系统1134、应用程序1135、其他程序模块1136和某些程序数据1137驻留在RAM1132中。
诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作系统1144、应用程序1145、其他程序模块1146和某些程序数据1147。
诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接到可移动非易失性存储器接口1150。例如,软盘1152可以被插入到软盘驱动器1151中,以及CD(光盘)1156可以被插入到CD-ROM驱动器1155中。
诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口1160。
计算机1110可以通过网络接口1170连接到远程计算机1180。例如,网络接口1170可以经由局域网1171连接到远程计算机1180。或者,网络接口1170可以连接到调制解调器(调制器-解调器)1172,以及调制解调器1172经由广域网1173连接到远程计算机1180。
远程计算机1180可以包括诸如硬盘之类的存储器1181,其存储远程应用程序1185。
视频接口1190连接到监视器1191。
输出外围接口1195连接到打印机1196和扬声器1197。
图1所示的计算机系统1000只是示例性的,并且决不意图限制本发明、本发明的应用或用途。
图1所示的计算机系统可以被实施于任何实施例,可作为独立计算机,或者也可作为设备中的处理系统,可以移除一个或更多个不必要的部件,也可以向其添加一个或更多个附加的部件。
根据本发明的一些实施例,提供一种机制以自动地将一页对象布置到模板,该模板是根据对象的参数分布和模板中的对象容器的参数分布而从模板集合中选择的。
因此,一般地,本发明的布置方法和布置设备的输入是对象。这里,对象可以是通过使用诸如数字静态照相机和数字摄像机的拍照装置或者诸如扫描仪和多功能装置的扫描装置所获得的图像(包括照片)。但是,应当注意,本发明不限于此。
图2是示例性地示出根据本发明的实施例的对象布置方法的流程图。
在模板选择步骤S1,从模板集合中为一组对象选择模板。
这里,该组对象可以是一页对象,即,这些对象可以放在一页上。以下,为了易于描述实施例,如果没有明确地规定的话,一组对象将指一页对象。但是,本领域普通技术人员将明白,本发明不限于这种情况。
优选地,在模板选择步骤S1,可以根据对象的参数分布和模板中的对象容器的参数分布来选择模板。
这里,对象容器例如可以是照片占位符等。但是,本领域普通技术人员将明白,本发明不限于此。
其中,对象的参数可以与各对象的至少一个属性关联,对象容器的参数可以与各对象容器的至少一个特性关联。对象的属性可以包括诸如时间(例如,获得对象的时间)、地点(例如,获得对象的地点)、对象中的脸部数量、背景中的细节等的客观属性和诸如与用户意图或偏爱有关的任何事物(例如,用户作了标记的某物)等的主观属性。对象容器的特性可以包括其尺寸、取向、位置、形状等。本领域普通技术人员会明白,对象的属性和对象容器的特性不限于上面这些。
另外,优选地,对象的参数能够反映用户偏好。
例如,用户可以在面对一组对象(这里,一页对象)时,在考虑对象的属性之后获得偏好列表。用户可能考虑对象的一个属性,例如时间或地点。以下也是可能的:另一个用户可能考虑对象的几个属性或者各种属性,尽管看起来用户只是看了看这些对象。
换而言之,用户可以考虑对象的至少一个属性。不管怎样,用户可以基于对象的至少一个属性为一组对象确定偏好列表是真的。
偏好列表中的每个要素用于表示用户对于相应对象的偏好程度,其可以是一个数值。这里,偏好列表也被称为参数分布,其可以被表示为数值集合。
在用户考虑对象的多个属性的情况下,可以使用例如加权平均方法。例如,用户考虑将被放在一页上的对象的以下属性:时间和脸部数量,也就是说,用户将使用与上面这两个属性关联的参数,并且,对于所有这些对象,假设时间的权重可以是0.4,对象中的脸部数量的权重可以是0.6,如果用户对于一个对象在时间方面的偏好值是8,并且该用户对于该对象在脸部数量方面的偏好值是6,则得到的该对象的组合偏好值(即,该对象的参数的数值)将是8×0.4+6×0.6=6.8。
应当注意,关于合成(组合)多个属性的方式,本发明不限于以上方式,而是任何适当的方法都可以应用于本发明。
此外,优选地,模板中的对象容器的参数能够反映该模板中的对象容器的布置优先级。
这里,对象容器的参数也可以是可用于表示对象容器的布置优先级的数值。因此,一个模板中的对象容器的参数分布也可以被表示为数值集合。
模板中的对象容器的布置优先级可以是预定的,一般地,其可以从对象容器的至少一个属性得到。
需要注意,本发明可以使用现有技术中已有的和以后开发出的用于得到偏好列表的方法和用于确定模板中的对象容器的布置优先级的方法中的每一个。
在上述模板选择步骤S1之后,在对象布置步骤S2,将各对象布置到所选模板上的相应对象容器中。
优选地,在对象布置步骤S2,可以根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
另外,请注意,在模板选择步骤S1之前,可以在图3所示的过滤步骤S0,根据例如页类型和/或对象总数量(TOA)等,对模板进行过滤。
这里,页类型可以包括单页和跨页。例如,当相册展开时,在折缝的两侧有两个单页,并且这两个单页互相独立。再例如,当相册展开时,折缝的左部和右部与折缝一起构成跨页,并且这两个部分是跨页的不可分割的一部分。
需要注意,可以计算或者可以由用户规定该组对象要使用的页类型。用于计算一页对象所要使用的页类型的任何方法都可以在本发明中使用。
对象的总数量(即,TOA)可能需要与模板中的对象容器的数量(容器总数量,TCA)匹配,即,TOA=TCA。
请注意,在执行过滤步骤时可以考虑的因素不限于上面描述的那些。
当然,通过上面描述的上述过滤步骤S0实现的这样的过滤功能也可以包含在模板选择步骤S1中。
另外,也可以基于对象的参数分布和模板中的对象容器的参数分布来进行模板的过滤。例如,它们的分布可以暗含该组对象的对象总数量(TOA)和模板中的容器总数量(TCA)。进一步说,优选地,对象的参数分布和备选模板中的对象容器的参数分布可能是相符的,尤其在数量方面,即,对象总数量(TOA)和该模板中的容器总数量(TCA)。
下面,将参照附图4来描述一个选择模板的例子。
这里,假设已经获得对象的参数分布(例如,对象的用户偏好列表)和模板集合中每个模板中的对象容器的参数分布。
例如,有5个对象要放在一页中,并且这5个对象的参数分布是(1,3,5,10,10)。这里,该分布中的较大的数值用于表示用户更偏爱相应的对象。但是,这只是一个例子,相反的情况也是可能的。
此外,为了易于描述,假设有两个可用模板(备选模板),并且,一个备选模板中的对象容器的参数分布是(1,5,5,5,10),另一个备选模板中的对象容器的参数分布是(1,4,4,6,6)。
这里,作为例子,如图4所示,在步骤S1-11,可以使用距离作为用于在步骤S1-12确定要选择哪个模板的度量。优选地,可以选择该组对象和模板集合中每个模板之间的距离之中的最小距离的模板作为要在其上布置该组对象的模板。
更具体地,可以基于对象的参数分布和模板集合中的模板中的对象容器的参数分布,计算该组对象(一页对象)和这些模板之间的距离,然后,基于计算的距离来选择模板,例如,基于计算的距离之中的最小距离。
下面,作为一个例子,如下示出用于计算上述距离的方法:
a)关于作为用户偏好矢量的对象的参数分布(诸如用户偏好列表):Vuf=(UF1,UF2,...,UFTOA),
这里,矢量Vuf中的元素UF1,…,UFTOA中的每一个表示对于每个相应对象的用户偏好值,
b)关于作为优先级矢量的模板的对象容器的参数分布(诸如模板的优先级列表):Vp=(P1,P2,...,PTCA),
这里,矢量Vp中的元素P1,…,PTCA中的每一个表示模板中的每个相应对象容器的优先级,
c)计算上述两个矢量之间的距离(例如,欧氏距离或使用用于计算矢量之间距离的任何其他方法)如下:
其中,TOA是该组对象的对象总数量,TCA是模板中的容器总数量。
具体地,这些数值的计算过程如下:
1、关于上述一个备选模板
a)从对象的用户偏好列表(1,3,5,10,10),得到用户偏好矢量:(1,3,5,10,10)
b)从模板的优先级列表(1,5,5,5,10),得到优先级矢量:(1,5,5,5,10)
c)计算矢量(1,3,5,10,10)和矢量(1,5,5,5,10)之间的距离d1:
2、关于上述另一个备选模板
a)从对象的用户偏好列表(1,3,5,10,10),得到用户偏好矢量:(1,3,5,10,10)
b)从模板的优先级列表(1,4,4,6,6),得到优先级矢量:(1,4,4,6,6)
c)计算矢量(1,3,5,10,10)和矢量(1,4,4,6,6)之间的距离d2:
基于上述两个距离和可以选择具有最小距离(其小于)的那个模板。
另外,作为另一个选择模板的例子,如图5所示,在步骤S1-21计算用户偏好列表和每个模板的优先级列表之间的距离之后,在步骤S1-22,可以检查是否有距离不大于预定阈值(Th1)的任何模板。这里,不大于Th1的距离意味着相应模板与对象的用户偏好列表相距不太远。Th1可以依据实践经验或者通过实验等确定。例如,可以是Th1的范围。这里,仅作为例示,Th1可以是
如果存在至少一个其距离不大于Th1的模板(在步骤S1-22为“是”),则在步骤S1-24选择其距离不大于Th1的一个模板。
具体地,在只有一个模板其距离小于等于Th1的情况下,将选择这一个模板。
在有多个模板其距离小于等于Th1的情况下,可以选择最小距离的模板以更好地匹配,或者可以选择其距离小于等于Th1的第一个模板以便节省计算量,或者可以选择这多个模板之中的任何一个模板。本发明对这些不作任何限制。
但是,如果不存在其距离不大于Th1的任何模板(在步骤S1-22为“否”),则可以在步骤S1-23计算最高用户偏好列表与模板集合中的每个备选模板的最高优先级列表之间的距离。
这里,从上述用户偏好列表得到最高用户偏好列表,其中,只有具有最高用户偏好值的元素被保留,其他元素被重设为0。同时,元素的相对顺序可以不变。
此外,从上述优先级列表得到最高优先级列表,其中,只有具有最高优先级值的元素被保留,其他元素被重设为0。类似地,元素的相对顺序可以不变。作为例子,用于计算最高用户偏好列表和模板集合中的每个备选模板的最高优先级列表之间的距离的方法如下:
a)通过例如使用函数“IsHighest(value)”,得到该组对象的最高用户偏好列表和模板的最高优先级列表,
b)关于作为矢量Vhuf的最高用户偏好列表:
Vhuf=(IsHighest(UF1)*UF1,IsHighest(UF2)*UF2,...,IsHighest(UFTOA)*UFTOA),
这里,函数IsHighest(value)中的唯一变量“value”由用户偏好列表中的每一个用户偏好值UFi(i=1,……,TOA)代入,
c)关于作为矢量Vhp的最高优先级列表:
Vhp=(IsHighest(P1)*P1,IsHighest(P2)*P2,...IsHighest(PTCA)*PTCA),
这里,函数IsHighest(value)中的唯一变量“value”由优先级列表中的每一个优先级值Pi(i=1,……,TCA)代入,
d)计算上述两个矢量之间的距离(例如,欧氏距离或使用用于计算两个矢量之间的距离的任何其他方法)如下:
其中,如上所述,TOA是该组对象的对象总数量,TCA是模板中的容器总数量。
下面,将如下描述一个例子来解释上述计算方法。
1、关于上述具有优先级列表(1,5,5,5,10)的那一个备选模板
a)从对象的用户偏好列表(1,3,5,10,10),得到对象的最高用户偏好列表:(0,0,0,10,10);然后,从对象的最高用户偏好列表:(0,0,0,10,10),得到对象的最高用户偏好列表矢量:(0,0,0,10,10),
这里,如上所述,在新产生的对象的最高用户偏好列表中,用户偏好列表中的最大值10保留,而用户偏好列表中的其他值1,3,5变为0,
b)从模板的优先级列表(1,5,5,5,10),得到模板的最高优先级列表:(0,0,0,0,10);然后,从模板的最高优先级列表:(0,0,0,0,10),得到模板的最高优先级列表矢量:(0,0,0,0,10),
这里,类似地,在模板的最高优先级列表中,模板的优先级列表中的最大值10保留,而模板的优先级列表中的其他值1,5变为0,
c)计算上述两个矢量之间的欧氏距离d1’:
2、关于上述具有优先级列表(1,4,4,6,6)的那另一个备选模板
a)从对象的用户偏好列表(1,3,5,10,10),得到对象的最高用户偏好列表:(0,0,0,10,10);然后,从对象的最高用户偏好列表:(0,0,0,10,10),得到对象的最高用户偏好列表矢量:(0,0,0,10,10),
b)从模板的优先级列表(1,4,4,6,6),得到模板的最高优先级列表:(0,0,0,6,6);然后,从模板的最高优先级列表:(0,0,0,6,6),得到模板的最高优先级列表矢量:(0,0,0,6,6),
c)计算上述两个矢量之间的欧氏距离d2’:
基于上述两个新计算的距离d1’(d1’=10)和d2’(d2’=42),可以选择具有最小距离d2’的那一个模板。
可替代地,可以基于距离的比较和预定阈值(Th2)来选择模板,与上面描述的方式类似。
这里,上面的两个备选模板的情况仅是简单的、示例性的例子,本领域普通技术人员理解,对于有多于两个的备选模板可用的情况,将进行类似的计算。
另外,需要注意,上述的用户偏好列表和最高用户偏好列表仅是对象的参数分布的两个例子。同样,上述的优先级列表和最高优先级列表也仅是模板中的对象容器的参数分布的两个例子。
事实上,对象的参数分布和模板中的对象容器的参数分布不限于上面示出的那两种形式。实质上,如上面所提到的那样,对象的所述参数可以与各对象的至少一个属性关联,对象容器的所述参数可以与各对象容器的至少一个特性关联。
换而言之,所述参数不限于一些特定的形式,本领域普通技术人员能够根据上面的描述进行各种更改、变化和替换。例如,上面的最高用户偏好列表和最高优先级列表可以根据参数分布中的最大值和次大值或者其他而进行变化。
也就是说,根据本发明的实施例,当该组对象和模板集合中的各模板之间的所有距离大于预定阈值时,该组对象和至少两个模板之间的距离可以基于对象的参数分布的一部分和所述至少两个模板中的每一个中的对象容器的参数分布的一部分来重新计算,并且可以基于重新计算的距离来选择模板。
这里,对象的参数分布可以按照输入对象的顺序来排列,或者按照获得对象的顺序来排列,或者按照参数值的大小顺序来排列,或者按照本领域普通技术人员可知的任何其他顺序来排列。
模板的对象容器的参数分布可以按照模板中的对象容器的布置顺序来排列,或者按照参数值的大小顺序来排列,或者按照本领域普通技术人员可知的任何其他顺序来排列。
另外,模板的对象容器的参数分布的顺序与对象的参数分布的顺序对应。
例如,在它们的分布均按照参数值的大小顺序排列并且对象的参数分布的顺序是从参数值的最大值到参数值的最小值的情况下,模板的对象容器的参数分布的顺序优选地是从参数值的最大值到参数值的最小值。
另外,可以认为相应参数分布中参数值的相对应的位置也表明所述参数分布之间的对应关系。
当然,上述例子仅是为了示例性地解释对象的参数分布和模板中的对象容器的参数分布之间的对应关系而示出的,本领域普通技术人员明白,它们之间的对应关系可以是各种各样的,并不局限于上面的例子。
另外,作为例子,如果对象的排列顺序是重要的,则优选地,模板中的对象容器的参数分布中的值的顺序可以与模板中的对象容器的排列顺序一致。
换而言之,在本发明中,对象的参数分布中的值的顺序可以与该组对象的排列顺序关联,类似地,对象容器的参数分布中的值的顺序可以与这些对象容器的排列顺序关联。
这里,如果对象的输入顺序是重要的,那么对象的排列顺序可以与对象的输入顺序一致。例如,在对象的输入顺序对于用户而言重要的情况下,对象的参数分布(例如对象的用户偏好列表)可以按照对象的输入顺序排列。
另外,以下也是有可能的:对象在用户输入之后被重新排列,并且重新排列后的顺序是重要的。例如,在重新排列后的对象的顺序对于用户而言重要的情况下,对象的参数分布(例如对象的用户偏好列表)可以按照重新排列后的对象的顺序排列。
需要注意,本发明不限于那些,并且不想对于对象的排列顺序进行任何额外的限制,因为本领域普通技术人员清楚地知道其含义。
另外,说明书中的术语“最大”、“最小”、“最高”等不是想要限制本发明,使用它们只是为了容易描述本发明的实施例。也就是说,它们可以根据实际情况灵活变通。
另外,例如,在对象的排列顺序对于用户不重要的情况下,下面将描述通过基于对象的参数分布和模板中的对象容器的参数分布计算距离来选择模板的另一个示例性方法,所述参数分布使用的是统计值。
具体地,根据本发明的实施例,对象的参数分布中的各值的顺序与该组对象的排列顺序无关,并且,对象的参数分布中的各值可以是与和用户偏好有关的优先级相关的统计值,模板中的对象容器的参数分布中的各值可以是与对象容器在该模板中的布置优先级相关的统计值。
下面,将描述一个例子以解释上述示例性方法。
在本例子中,上面提到的与和用户偏好有关的优先级相关的统计值可以是从上述用户偏好列表得到的唯一用户偏好对象数量列表(UOA列表),与对象容器在模板中的布置优先级相关的统计值可以是唯一优先级对象容器数量列表(UCA列表)。
上述唯一用户偏好对象数量列表(UOA列表)是具有对应于唯一用户偏好值的唯一用户偏好的对象数量的列表。该UOA列表的维度等于可用用户偏好值的数量。例如,在用户偏好列表(1,3,5,10,10)中,有2个对象的用户偏好值为“10”,有1个对象的用户偏好值为“5”,有1个对象的用户偏好值为“3”,有1个对象的用户偏好值为“1”。如果有10个可用用户偏好值(1~10),则UOA列表将具有10个维度。以降序来排序用户偏好值,对应的UPA列表为(2,0,0,0,0,1,0,1,0,1)。
唯一优先级对象容器数量列表(UCA列表)是具有对应于唯一优先级值的唯一优先级的对象容器数量的列表。UCA列表的维度等于可用优先级值的数量。例如,在优先级列表(1,5,5,5,10)中,有1个对象的优先级值为“10”,有3个对象的优先级值为“5”,有1个对象的优先级值为“1”。如果有10个可用优先级值(1~10),则UCA列表将具有10个维度。以降序来排序优先级值,对应的UCA列表为(1,0,0,0,0,3,0,0,0,1)。
作为例子,在如图6所示的步骤S1-31,上述UOA列表和上述UCA列表之间的距离可以计算如下:
a)关于作为矢量的UOA列表:
Vuoa=(ObjectAmountufHighest,...,ObjectAmountuf1,ObjectAmountuf0)
b)关于作为矢量的模板的UCA列表
Vuca=(ContainerAmountpHighest,...,ContainerAmountp1,ContainerAmountp0)
c)计算上述两个矢量之间的距离(例如欧氏距离或使用用于计算两个矢量之间的距离的任何其他方法)
其中,如上所述,TOA表示该组对象的对象总数量,TCA表示模板中的对象容器总数量。
为了更清楚地解释该示例性方法,下面将举出一个数值例子:
a)作为矢量的UOA列表:
(2,0,0,0,0,1,0,1,0,1),
b)作为矢量的模板的UCA列表:
(1,0,0,0,0,3,0,0,0,1),
c)计算上述两个矢量之间的距离:
然后,在如图6所示的步骤S1-32,检查是否有距离不大于预定阈值(Th3)的任何模板,这意味着该模板与对象的UOA列表距离不太远。Th3可以根据经验或者通过实验来确定。例如,Th3可以在的范围内。比如,Th3可以为
即,在与图5中的步骤S1-22类似的步骤S1-32,确定是否有距离<=Th3的任何模板。
在与图5中的步骤S1-23类似的步骤S1-33,计算最高UOA列表和每个模板的最高UCA列表之间的距离。
这里,最高UOA列表是从上述UOA列表得到的,其中,仅对应于最高用户偏好值的元素保留,其他元素被重设为0。同时,元素的相对顺序和维度不变。此外,最高UCA列表是从上述UCA列表得到的,其中,仅对应于最高优先级值的元素保留,其他元素被重设为0。同时,元素的相对顺序和维度也不变。
下面示出相应的距离计算方法,与上面描述的类似:
a)得到最高UOA列表和最高UCA列表:这里也使用了函数“IsHighest(value)”,
b)关于作为矢量的最高UOA列表
VuoaHighest=(IsHighest(ufHst)*ObjectAmountufHst,...,IsHighest(uf0)*ObjectAmountuf0)=(ObjectAmountuoaHst,0,...,0)
这里,变量“ufHst”,……,“uf0”表示UOA列表中的各参数值,
c)关于作为矢量的最高UCA列表:
VucaHst=(IsHighest(pHst)*ContainerAmountpHst,...,IsHighest(p0)*ContainerAmountp0)=(ContainerAmountpHst,0,...,0)
这里,变量“pHst”,……,“p0”表示UCA列表中的各参数值,
d)计算上述两个矢量之间的距离:
其中,如上所述,TOA表示该组对象的对象总数量,TCA表示模板中的对象容器总数量。
下面,将如下描述一个数值例子来解释上述距离计算方法。
a)作为矢量的最高UOA列表:
(2,0,0,0,0,0,0,0,0,0),
b)作为矢量的模板的最高UCA列表:
(1,0,0,0,0,0,0,0,0,0),
c)上述两个矢量之间的距离:
图6中的步骤S1-34和S1-35与图5中的步骤S1-24和S1-25类似,因此,为了简洁起见,在这里省略对其的详细描述。
需要强调的是,在步骤S1-35,与上面描述的类似,可以选择具有最小距离的模板,或者作为替代,可以基于距离和预定阈值(Th4)的比较选择模板。
这里,最高UOA中的值的顺序和最高UCA中的值的顺序可以相互一致,例如,都按照与参数值相关的降序或者升序。
另外,需要注意,附图5-6所示的距离重新计算过程可以重复多次(任意多的次数)。此外,当对距离进行重新计算时,可以与步骤S1-22~S1-24以及S1-32~S1-34那样类似地使用利用阈值的判断。为了简洁起见,在这里省略对它们的处理的详细描述。
此外,最高UOA列表和最高UCA列表仅是利用统计值的(对象和模板中的对象容器的)参数分布的一种形式(对于每种参数分布的一种统计值)。本领域普通技术人员显然明白,利用统计值的任何其他形式可以用于本发明。例如,可以利用多种统计值来构成参数分布。
此外,模板集合可以构成一个模板数据库。当然,模板集合也可以根据它们的类型或样式、其中的对象容器的数量等等而构成多于一个模板数据库。模板数据库可以包括与其中的各模板有关的信息。
模板数据库中可以包含很多个项目,例如模板的优先级列表,模板的最高优先级列表,模板的对象容器的总数量(TCA),模板的页类型(例如,单页或跨页),模板的UOA列表,模板的最高UOA列表等。需要注意,这些项目不一定都包含在模板数据库中。可能只有几个基本项目包含在其中,只要能够通过任何一种方法计算一组对象的参数分布和模板中的对象容器的参数分布之间的距离以便计算两个矢量之间的距离即可。
另外,可以输出通过上述布置方法所获得的布置的对象。输出处理包括在显示装置上呈现相册(在其上布置和布局对象的输出单位的集合)。注意,也可以通过其他机制输出相册。例如,可以在彩色打印机上打印相册的页。可替代地,可以通过网络向远程用户发送相册或构成相册的页。本发明对此不作任何限制。
此外,尽管上述实施例通过例如计算距离的方式选择模板,但是应当注意,本发明不限于此。换而言之,有很多种其他方式来选择模板,并且这些方式都包含在本发明的范围之内。
图7是示例性地示出根据本发明的实施例的对象布置设备的框图。
如图7所示,本发明的布置设备1可以包括模板选择单元11和对象布置单元12。
这里,模板选择单元11可以被配置为根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板。
其中,对象的参数可以与各对象的至少一个属性关联,对象容器的参数可以与各对象容器的至少一个特性关联。
对象布置单元12可以被配置为根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
此外,本发明的布置设备1可以进一步包括过滤单元10。
过滤单元10可以被配置为在选择模板的操作之前过滤模板,以便节省计算量和处理时间。过滤单元可以如上所述的那样根据页类型、TOA和TCA、它们的组合等执行过滤处理。
这里,与上面描述的类似,对象的参数能够反映用户偏好,对象容器的参数能够反映布置优先级。
此外,模板选择单元11可以被配置为能够执行以下操作:基于所述对象的参数分布和所述模板集合中至少两个模板之中的每一个模板中的对象容器的参数分布,计算该组对象与所述至少两个模板之间的距离,并且,基于所述距离来选择模板。
另外,与上面描述的类似,所述对象的参数分布中的各值的顺序与该组对象的排列顺序有关,对象容器的参数分布中的各值的顺序与对象容器在相应模板中的排列顺序有关。
此外,所述对象的参数分布中的各值的顺序与该组对象的排列顺序无关,并且,对象的参数分布中的各值是与和用户偏好有关的优先级相关的统计值,模板中的对象容器的参数分布中的各值是与对象容器在该模板中的布置优先级相关的统计值,与上面描述的类似。
此外,模板选择单元11选择该组对象与所述模板集合中的各模板之间的距离之中最小距离的模板作为要在其上布置该组对象的模板。
另外,模板选择单元可以选择与该组对象的距离小于或等于预定阈值的模板作为要在其上布置该组对象的模板。
此外,当该组对象与所述模板集合中的各模板之间的距离均大于预定阈值时,模板选择单元11基于所述对象的参数分布中的一部分与至少两个模板之中的每一个模板中的对象容器的参数分布中的一部分来重新计算该组对象与所述至少两个模板之间的距离,并基于重新计算的距离来选择模板。
这里,应当注意,所述距离可以通过用于计算向量之间的距离的任何一种方法来计算。
下面,将参照图9(A)、9(B)、10(A)和10(B),通过举例在本发明和现有技术之间比较示例性布置结果。
首先,对于所有的照片(对象),它们可以按照以下两种情形被放在模板的照片占位符(对象容器)中:
情形1:输入照片的原始顺序重要,以及
情形2:输入照片的原始顺序不重要。
对于以上所有情形,本发明都可以生成更好的布局页,因为对于情形1和情形2两者来说,现有技术将选择一个可能不适合输入照片的模板,然后可能生成不合适的布局,其中重要的照片被不恰当地表现。但是通过根据这些照片的用户偏好分布来选择模板,本发明可以避免这一点,并且将得到合适的布局,其中重要的照片被恰当地表现。
当输入照片的原始顺序(照片的输入顺序)重要时,有这样的一个限制:“每个输入照片的相对顺序必须与模板中的每个照片占位符的相对布局顺序相符(换而言之,在把照片放到照片占位符中之后,输入照片的排列顺序必须与模板中的照片占位符的排列顺序一致)”。
一种用于确定模板中的照片占位符的布局顺序的规则可以是:首先,从上到下;其次,从左到右。
作为例子,图8用于示例性地示出模板中的照片占位符的布局顺序。
关于图8的左部,当它是用于单页的模板时,根据第一规则“从上到下”,H1排在前面,根据第二规则“从左到右”,H2排在H3前面,H3排在后面。因此,该模板中的照片占位符的布局顺序(排列顺序)是H1→H2→H3。
类似地,关于图8的右部,当它是用于跨页的模板时,根据第一规则“从上到下”,最上面的两个是H1和H2,因此,H1和H2要排在靠前的位置;对于H1和H2的排列顺序,按照第二规则“从左到右”,H1排在前面,然后H2在H1之后;再根据第一规则“从上到下”,H3在H2之后,H4和H5在H3之后;然后根据第二规则“从左到右”,H4排在H5前面,H5排在后面。因此,该模板中的照片占位符的布局顺序(排列顺序)是H1→H2→H3→H4→H5。
例如,对于情形1,图9(B)基于图9(A)的输入照片和备选模板示出了最终布局结果的效果对比。从这两幅图可以看出,本发明的结果比现有技术US2007/0064278A1的结果好,原因如下:
1)在本发明的结果中,用户偏爱的照片P2放在了模板T1的占位符H2(一个大的并且位于中心的占位符)中;而
2)在现有技术结果中,用户偏爱的照片P2放在了模板T2的占位符H2(一个小的占位符)中。
另外,由于现有技术没有区分模板(这里是T1和T2),模板T1和T2中的任一个都可能被现有技术选择,而本发明一定会选择模板T1。也就是说,本发明在选择更匹配的模板方面比现有技术呈现出更高的可靠性。
再例如,对于情形2,图10(B)基于图10(A)的输入照片和备选模板示出了最终布局结果的效果对比。从这两幅图可以看出,本发明的结果比现有技术的结果好,原因在于:
1)在本发明的结果中,两幅用户偏爱的照片P1和P2放在了模板T1的H2和H3(两个大的占位符)中;而
2)在现有技术结果中,用户偏爱的照片P2放在了模板T2的占位符H1(一个小的占位符)中。
同样,由于现有技术没有区分模板(这里是T1和T2),模板T1和T2中的任一个都可能被现有技术选择,而本发明一定会选择模板T1。也就是说,本发明在选择更匹配的模板方面比现有技术呈现出更高的可靠性。
在本发明中,在选择模板时考虑了对象的用户偏好分布,并且在将对象布局到模板的对象容器时考虑了对象的用户偏好与对象容器的优先级之间的匹配关系。
这样,通过根据本发明的实施例的对象布置方法和设备能够获得合适的且合理的对象布局结果,由此,能够恰当地展现用户偏爱的对象。
请注意,上面的实施例仅是例示性的,本发明不限于它们。此外,说明书中的各方面的各种组合应当被包含在本发明的保护范围内。
另外,请注意,可以用许多方式实施本发明的方法和设备。例如,可以通过软件、硬件、固件、或其任何组合来实施本发明的方法和设备。上述的方法步骤的次序仅是示例性的,本发明的方法步骤不限于以上具体描述的次序,除非以其他方式明确说明。此外,在一些实施例中,本发明还可以被实施为记录在记录介质中的程序,其包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。
在上面的描述中,虽然已通过示例详细展示了本发明的一些具体实施例,但是本领域普通技术人员应当理解,上述例子仅意图是示例性的而非限制本发明的范围。本领域普通技术人员应当理解,上述实施例可以被修改而不脱离本发明的范围和实质。本发明的范围是通过所附的权利要求来限定的。
Claims (18)
1.一种对象布置方法,包括:
模板选择步骤,根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板,其中,对象的参数与各对象的至少一个属性关联,对象容器的参数与各对象容器的至少一个特性关联;以及
对象布置步骤,根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
2.根据权利要求1的方法,其中,对象的参数能够反映用户偏好,对象容器的参数能够反映布置优先级。
3.根据权利要求1的方法,其中,模板选择步骤包括:
基于所述对象的参数分布和所述模板集合中的至少两个模板之中每一个模板中的对象容器的参数分布,计算该组对象与所述至少两个模板之间的距离,并且,基于所述距离来选择模板。
4.根据权利要求2的方法,其中,所述对象的参数分布中的各值的顺序与该组对象的排列顺序有关,对象容器的参数分布中的各值的顺序与对象容器在相应模板中的排列顺序有关。
5.根据权利要求2的方法,其中,所述对象的参数分布中的各值的顺序与该组对象的排列顺序无关,并且,所述对象的参数分布中的各值是与和用户偏好有关的优先级相关的统计值,模板中的对象容器的参数分布中的各值是与对象容器在该模板中的布置优先级相关的统计值。
6.根据权利要求3的方法,其中,选择该组对象与所述模板集合中的各模板之间的距离之中最小距离的模板作为要在其上布置该组对象的模板。
7.根据权利要求3的方法,其中,选择与该组对象的距离小于或等于预定阈值的模板作为要在其上布置该组对象的模板。
8.根据权利要求3的方法,其中,当该组对象与所述模板集合中的各模板之间的距离均大于预定阈值时,基于所述对象的参数分布中的一部分与至少两个模板之中的每一个模板中的对象容器的参数分布中的一部分来重新计算该组对象与所述至少两个模板之间的距离,并基于重新计算的距离来选择模板。
9.根据权利要求3和6-8中的任一项的方法,其中,所述距离是通过用于计算向量之间的距离的方法来计算的。
10.一种对象布置设备,包括:
模板选择单元,被配置为根据一组对象的参数分布和一个模板中的用于容纳对象的对象容器的参数分布,从模板集合中为该组对象选择模板,其中,对象的参数与各对象的至少一个属性关联,对象容器的参数与各对象容器的至少一个特性关联;以及
对象布置单元,被配置为根据所述对象的参数分布和所选模板中对象容器的参数分布的对应关系,将各对象布置到所选模板上的相应对象容器中。
11.根据权利要求10的对象布置设备,其中,对象的参数能够反映用户偏好,对象容器的参数能够反映布置优先级。
12.根据权利要求10的对象布置设备,其中,模板选择单元被配置为能够执行以下操作:
基于所述对象的参数分布和所述模板集合中至少两个模板之中的每一个模板中的对象容器的参数分布,计算该组对象与所述至少两个模板之间的距离,并且,基于所述距离来选择模板。
13.根据权利要求11的对象布置设备,其中,所述对象的参数分布中的各值的顺序与该组对象的排列顺序有关,对象容器的参数分布中的各值的顺序与对象容器在相应模板中的排列顺序有关。
14.根据权利要求11的对象布置设备,其中,所述对象的参数分布中的各值的顺序与该组对象的排列顺序无关,并且,对象的参数分布中的各值是与和用户偏好有关的优先级相关的统计值,模板中的对象容器的参数分布中的各值是与对象容器在该模板中的布置优先级相关的统计值。
15.根据权利要求12的对象布置设备,其中,模板选择单元选择该组对象与所述模板集合中的各模板之间的距离之中最小距离的模板作为要在其上布置该组对象的模板。
16.根据权利要求12的对象布置设备,其中,模板选择单元选择与该组对象的距离小于或等于预定阈值的模板作为要在其上布置该组对象的模板。
17.根据权利要求12的对象布置设备,其中,当该组对象与所述模板集合中的各模板之间的距离均大于预定阈值时,模板选择单元基于所述对象的参数分布中的一部分与至少两个模板之中的每一个模板中的对象容器的参数分布中的一部分来重新计算该组对象与所述至少两个模板之间的距离,并基于重新计算的距离来选择模板。
18.根据权利要求12和15-17中的任一项的对象布置设备,其中,所述距离是通过用于计算向量之间的距离的方法来计算的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410161937.7A CN105100543B (zh) | 2014-04-22 | 2014-04-22 | 对象布置方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410161937.7A CN105100543B (zh) | 2014-04-22 | 2014-04-22 | 对象布置方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105100543A true CN105100543A (zh) | 2015-11-25 |
CN105100543B CN105100543B (zh) | 2018-06-29 |
Family
ID=54580017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410161937.7A Active CN105100543B (zh) | 2014-04-22 | 2014-04-22 | 对象布置方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105100543B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101349565A (zh) * | 2008-09-10 | 2009-01-21 | 北京航空航天大学 | 一种基于计算机视觉的飞行器航向跟踪方法 |
CN101510312A (zh) * | 2009-03-16 | 2009-08-19 | 广州市有福数码科技有限公司 | 制作电子相册的方法、装置及系统 |
US20110148925A1 (en) * | 2009-12-21 | 2011-06-23 | Brother Kogyo Kabushiki Kaisha | Image overlaying device and image overlaying program |
CN102461152A (zh) * | 2009-06-24 | 2012-05-16 | 惠普开发有限公司 | 图像的汇编 |
CN103488749A (zh) * | 2013-09-24 | 2014-01-01 | 长沙裕邦软件开发有限公司 | 一种网络电子相册展示方法及系统 |
-
2014
- 2014-04-22 CN CN201410161937.7A patent/CN105100543B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101349565A (zh) * | 2008-09-10 | 2009-01-21 | 北京航空航天大学 | 一种基于计算机视觉的飞行器航向跟踪方法 |
CN101510312A (zh) * | 2009-03-16 | 2009-08-19 | 广州市有福数码科技有限公司 | 制作电子相册的方法、装置及系统 |
CN102461152A (zh) * | 2009-06-24 | 2012-05-16 | 惠普开发有限公司 | 图像的汇编 |
US20110148925A1 (en) * | 2009-12-21 | 2011-06-23 | Brother Kogyo Kabushiki Kaisha | Image overlaying device and image overlaying program |
CN103488749A (zh) * | 2013-09-24 | 2014-01-01 | 长沙裕邦软件开发有限公司 | 一种网络电子相册展示方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105100543B (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10452905B2 (en) | System and method for detecting objects in an image | |
CN101539996B (zh) | 图像处理方法及图像处理装置、图像形成装置 | |
US7746487B2 (en) | Apparatus, method, and program for selecting images in a photo album | |
US7675647B2 (en) | Apparatus, method, and program for editing images | |
CN100591100C (zh) | 图像处理装置、图像处理方法和计算机程序 | |
US9846826B2 (en) | Image processing to generate a tone curve for processing an image by associating a model parameter of the image with another model parameter of a reference image | |
US20050219665A1 (en) | Apparatus, method, and program for editing images | |
JP2007221720A (ja) | 変換テーブル圧縮方法およびプログラム | |
US7586524B2 (en) | Apparatus, method, and program for editing images | |
US20190122377A1 (en) | 3d modeling method based on point cloud data | |
JP2010033541A (ja) | 画像処理装置及び画像処理方法 | |
CN101923644A (zh) | 图像处理方法、图像处理装置以及图像形成装置 | |
US20160080602A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US8837856B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
JP5834879B2 (ja) | 画像印刷装置、方法、プログラム、画像処理装置、方法及びプログラム | |
US20110058736A1 (en) | Image processing apparatus, method, and program | |
US20170372166A1 (en) | Method and system for identifying extended contours within digital images | |
US20210012456A1 (en) | Information processing method, image processing apparatus, and storage medium | |
CN109151300A (zh) | 摄像系统 | |
CN105100543A (zh) | 对象布置方法和设备 | |
US20110242099A1 (en) | Image processing apparatus, image processing method, and program | |
US9082065B2 (en) | Image editing device, image editing method, program, and computer readable storage medium | |
JP6031936B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20150221100A1 (en) | Information processing apparatus and computer-readable storage medium storing program | |
JP6326988B2 (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |