CN105959542B - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN105959542B CN105959542B CN201610326910.8A CN201610326910A CN105959542B CN 105959542 B CN105959542 B CN 105959542B CN 201610326910 A CN201610326910 A CN 201610326910A CN 105959542 B CN105959542 B CN 105959542B
- Authority
- CN
- China
- Prior art keywords
- subgraph
- image
- user
- ratio
- compression ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000003702 image correction Methods 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims description 104
- 238000007906 compression Methods 0.000 claims description 104
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 17
- 210000003128 head Anatomy 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 101100061276 Arabidopsis thaliana CPR5 gene Proteins 0.000 description 2
- 101100499928 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) POL31 gene Proteins 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 101100285389 Arabidopsis thaliana HLS1 gene Proteins 0.000 description 1
- 102100030500 Heparin cofactor 2 Human genes 0.000 description 1
- 101001082432 Homo sapiens Heparin cofactor 2 Proteins 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种图像处理方法和电子设备，图像处理方法包括：获取用户的第一图像；按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；确定所述M个子图像的图像校正参数；利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果；通过本发明能够进一步降低了图像的变形程度。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及图像处理方法及电子设备。
背景技术
现在的电子设备上通常设置有图像采集装置(如摄像头)，用户可以便捷地使用电子设备拍照，或者通过电子设备进行视频通话。
一些电子设备的图像采集装置的安装位置较为特殊，在使用电子设备过程中，电子设备的图像采集装置是偏离于用户的头部的，例如远高于或者远低于用户的头部，或者图像采集装置位于用户的左侧或者右侧，这导致图像采集装置拍摄产生的用户图像会出现变形。例如：在计算机的显示器的下边框设置摄像头，摄像头对用户进行拍摄的过程是仰拍方式，产生的用户图像会出现额头窄、下巴宽的变形问题。
为了解决这一问题，目前采用的处理方式是：对图像采集装置产生的图像进行梯形拉伸处理，使得用户图像中的各部分呈现匹配的宽度。
但是，上述处理方式所产生的视觉效果仍然较差，如何进一步降低图像的变形程度，是本领域人员需要考虑的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像处理方法及电子设备，以降低图像的变形程度。
为实现上述目的，本发明提供如下技术方案：
一种图像处理方法，包括：
获取用户的第一图像；
按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；
确定所述M个子图像的图像校正参数；
利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果。
优选的，所述按照预设规则将所述第一图像划分为M个子图像，包括：
确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；
当所述图像采集装置在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将所述第一图像划分为M个子图像；
当所述图像采集装置在水平方向偏离于所述用户的被拍摄部位时，在水平方向将所述第一图像划分为M个子图像。
优选的，所述确定所述M个子图像的图像校正参数，包括：
确定所述用户与产生所述第一图像的图像采集装置之间的距离值；
根据所述距离值确定所述M个子图像的图像校正参数。
优选的，所述根据所述距离值确定所述M个子图像的图像校正参数，包括：
在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；
在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；
在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；
在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
优选的，所述M个子图像的横向拉伸比例和纵向拉伸比例与所述距离值呈负相关关系，所述M个子图像的横向压缩比例和纵向压缩比例与所述距离值呈正相关关系。
优选的，所述确定所述用户与产生所述第一图像的图像采集装置之间的距离值，包括：
确定所述第一图像中所述用户的头部图像的高度；
计算所述用户的头部图像的高度与所述第一图像的高度的比值；
利用所述比值确定所述用户与所述图像采集装置之间的距离。
一种电子设备，包括：
获取图像单元，用于获取用户的第一图像；
划分图像单元，用于按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；
确定参数单元，用于确定所述M个子图像的图像校正参数；
第一处理单元，用于利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
第二处理单元，用于对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果。
优选的，所述划分图像单元，包括：
确定位置模块，用于确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；
竖直划分模块，用于当所述图像采集装置在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将所述第一图像划分为M个子图像；
水平划分模块，用于当所述图像采集装置在水平方向偏离于所述用户的被拍摄部位时，在水平方向将所述第一图像划分为M个子图像。
优选的，所述确定参数单元，包括：
第一确定模块，用于确定所述用户与产生所述第一图像的图像采集装置之间的距离值；
第二确定模块，用于根据所述距离值确定所述M个子图像的图像校正参数。
优选的，所述第二确定模块具体用于在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第i+1个子图像的左侧。
优选的，所述M个子图像的横向拉伸比例和纵向拉伸比例与所述距离值呈负相关关系，所述M个子图像的横向压缩比例和纵向压缩比例与所述距离值呈正相关关系。
优选的，所述第一确定模块具体用于确定所述第一图像中所述用户的头部图像的高度，计算所述用户的头部图像的高度与所述第一图像的高度的比值，利用所述比值确定所述用户与所述图像采集装置之间的距离。
由此可见，本发明实施例提供的图像处理方法中，通过获取用户的第一图像，并按照预设规则将第一图像划分为M个子图像，确定M个子图像的图像校正参数，从而利用M个子图像的图像校正参数分别对M个子图像进行缩放处理，经缩放处理后的M个子图像形成用户的第二图像，对第二图像进行梯形拉伸处理，来调整第二图像的俯仰角视觉效果和/或倾斜角视觉效果；由此可见，在本发明中，在对图像采集装置产生的图像进行梯形拉伸处理前，先对划分后的第一图像进行缩放处理，这种方式相对于现有技术中仅对图像采集装置产生的图像进行梯形拉伸处理而言，进一步降低了图像的变形程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一公开的一种图像处理方法的流程示意图；
图2为本发明实施例一公开的一种图像处理方法的部分流程示意图；
图3a为本发明实施例一公开的第一图像在竖直方向上被划分为多个子图像的一种结构示意图；
图3b为本发明实施例一公开的第一图像在水平方向上被划分为多个子图像的一种结构示意图；
图4a为本发明实施例一公开的第二图像的一种梯形拉伸处理方式下的示意图；
图4b为本发明实施例一公开的第二图像的另一种梯形拉伸处理方式下的示意图；
图4c为本发明实施例一公开的第二图像的又一种梯形拉伸处理方式下的示意图；
图4d为本发明实施例一公开的第二图像的又一种梯形拉伸处理方式下的示意图；
图5为本发明实施例二公开的一种图像处理方法的部分流程示意图；
图6a为本发明实施例三公开的第一图像在竖直方向上被划分为多个子图像的一种结构示意图；
图6b为本发明实施例三公开的第一图像在水平方向上被划分为多个子图像的一种结构示意图；
图7为本发明实施例四公开的一种电子设备的结构示意图；
图8为本发明实施例四公开的划分图像单元的结构示意图；
图9为本发明实施例五公开的确定参数单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例一公开了一种图像处理方法，如图1所示，该方法包括以下步骤：
S101：获取用户的第一图像；
为了实现对变形图像的图像处理，需要先获取用户的第一图像。第一图像的来源本发明不做限定，具体的，作为一种方式，本端电子设备设置有图像采集装置，如摄像头，第一图像可以为本端电子设备的图像采集装置采集到的图像；作为另一种方式，第一图像还可以为对端电子设备或服务器的图像采集装置所采集并发送给本端电子设备的图像。
在本发明中，本端电子设备可以为手机、平板电脑、笔记本电脑、一体机等各种设备。
S102：按照预设规则将所述第一图像划分为M个子图像；
其中，M为大于1的整数，即在对第一图像进行划分时，将其至少划分为2个子图像。
在本发明的预设规则中，第一图像中用户与产生第一图像的图像采集装置的不同的相对位置对应于不同的划分方式。具体的，按照预设规则将所述第一图像划分为M个子图像，如图2所示，包括以下步骤：
S201：确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；
需说明的是，由于图像采集装置与用户的被拍摄部位之间的相对位置直接关系到第一图像的变形位置，因此，需要先确定用户与产生第一图像的图像采集装置之间的相对位置，从而基于不同的相对位置来确定相应的划分方式。
具体的，作为一种方式，系统可以采用图像处理算法对第一图像进行处理分析来确定用户与产生第一图像的图像采集装置之间的相对位置。例如，通过处理分析确定第一图像在竖直方向上发生变形，那么可以确定图像采集装置在竖直方向偏离于用户的被拍摄部位；若通过处理分析确定第一图像在水平方向上发生变形，那么可以确定图像采集装置在水平方向偏离于用户的被拍摄部位。
S202：当所述图像采集装置在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将第一图像划分为M个子图像；
S203：当所述图像采集装置在水平方向偏离于所述用户的被拍摄部位时，在水平方向上将第一图像划分为M个子图像。
当图像采集装置在竖直方向偏离于用户的被拍摄部位时，被拍摄部位在竖直方向上发生变形，因此，在竖直方向上将第一图像划分为M个子图像。如图3a所示，TX1所指示的框图用于表征第一图像，图3a中在竖直方向上将第一图像TX1划分为2个子图像。
当图像采集装置在水平方向偏离于用户的被拍摄部位时，被拍摄部位在水平方向上发生变形，因此，在水平方向上将第一图像划分为M个子图像。如图3b所述，TX1所指示的框图用于表征第一图像，图3b中在水平方向上将第一图像TX1划分为4个子图像。
需强调的是，在本发明中，划分子图像的数量以及每一子图像的大小均可以预先设定好，当然，也可以预先建立确定方式，以使得系统能够根据第一图像的变形程度来进行确定划分子图像的数量以及每一子图像的大小。其中，第一图像所划分的不同子图像的大小可以相等也可以不相等，本发明不做限定。
S103：确定所述M个子图像的图像校正参数；
在本发明中，用户与产生第一图像的图像采集装置之间的相对位置的不同对应于不同的图像校正参数，具体的，图像校正参数包括纵向拉伸比例、纵向压缩比例、横向拉伸比例、横向压缩比例中的一种或多种。确定方式有多种，而不同的子图像的图像校正参数在同一方向上可能相同也可能不同，具体会在后文详细描述。
S104：利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
不同的图像校正参数对应于不同的缩放处理，基于所确定的图像校正参数对子图像进行相应的处理即可，如某一子图像的图像校正参数为横向压缩比例0.7，那么，则基于该横向压缩比例对该子图像进行压缩，压缩后的子图像与压缩前的子图像的比为0.7。
S105：对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果。
其中，用户与产生第一图像的图像采集装置之间的相对位置的不同，对应于不同的梯形拉伸处理方式。以下分别通过图4a-4d进行简要说明，其中，TX2所指示的框图用于表征经缩放处理后的M个子图像形成的用户的第二图像。
图4a对应于图像采集装置在竖直方向偏离于用户的被拍摄部位，且图像采集装置低于用户的被拍摄部位。如图4a所示，对第二图像进行正向梯形拉伸处理，以调整第二图像的仰角视觉效果。其中，正向梯形拉伸处理中的正向梯形效果为梯形的短边在上，长边在下。
图4b对应于图像采集装置在竖直方向偏离于用户的被拍摄部位，且图像采集装置高于用户的被拍摄部位。如图4b所示，对第二图像进行反向梯形拉伸处理，以调整第二图像的俯角视觉效果。其中，反向梯形拉伸处理中的反向梯形效果为梯形的短边在下，长边在上。
图4c对应于图像采集装置在水平方向偏离于用户的被拍摄部位，且图像采集装置位于用户的被拍摄部位的左侧。如图4c所示，对第二图像进行右向梯形拉伸处理，以调整第二图像的倾斜角视觉效果。其中，右向梯形拉伸处理中的右向梯形效果为梯形的短边在右，长边在左。
图4d对应于图像采集装置在水平方向偏离于用户的被拍摄部位，且图像采集装置位于用户的被拍摄部位的右侧。如图4d所示，对于第二图像进行左向梯形拉伸处理，以调整第二图像的倾斜角视觉效果。其中，左向梯形拉伸处理中的左向梯形效果为梯形的短边在左，长边在右。
需说明的是，由于梯形拉伸处理为现有的处理方式，因此本发明不做详细介绍。
由此可见，在本实施例中，在对图像采集装置产生的图像进行梯形拉伸处理前，先对划分后的第一图像进行缩放处理，这种方式相对于现有技术中仅对图像采集装置产生的图像进行梯形拉伸处理而言，进一步降低了图像的变形程度。
本发明实施例二公开了一种图像处理方法，与实施例一不同的是，本实施例主要介绍如何确定M个子图像的图像校正参数，具体的，确定M个子图像的图像校正参数，包括以下过程：
(1)确定用户与产生第一图像的图像采集装置之间的距离值；
(2)根据所述距离值确定所述M个子图像的图像校正参数。
在本发明中，用户与产生第一图像的图像采集装置之间的距离值，具体用于表征用户的被拍摄部位与用于拍摄的图像采集装置之间的距离，确定方式有多种，一种方式下，该距离值可以由对端设备发送给本端电子设备，本端电子设备直接接收距离值即可；另一种方式下，本端电子设备可以采用测距器件来测量用户与产生第一图像的图像采集装置之间的距离值；还有一种方式，本端电子设备可以通过预设的图像处理方法，通过对第一图像进行处理分析来确定用户与产生第一图像的图像采集装置之间的距离值。当然，作为一种优选的方式，如图5所示，确定所述用户与产生所述第一图像的图像采集装置之间的距离值，包括以下步骤：
S501：确定第一图像中用户的头部图像的高度；
通过对第一图像进行处理分析来确定第一图像中用户的头部图像的高度。
S502：计算用户的头部图像的高度与第一图像的高度的比值；
该比值能够表征用户的头部图像在第一图像中所占的比例。
S503：利用该比值确定用户与图像采集装置之间的距离。
当用户与图像采集装置之间的距离较小时，第一图像中用户的头部图像的高度与第一图像的高度的比值较大，当用户与图像采集装置之间的距离较大时，第一图像中用户的头部图像与第一图像的高度的比值较小。实施中，基于图像采集装置本身的特性，预先确定不同的比值与距离值的对应关系，并将该对应关系存储在电子设备中，当计算出用户的头部图像的高度与第一图像的高度的比值后，基于预先存储的对应关系来确定用户与图像采集装置之间的距离。
本发明实施例三公开了一种图像处理方法，在实施例二的基础上，详细描述根据距离值确定M个子图像的图像校正参数的具体实现方式，具体的，包括以下过程：
(1)在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；
图像采集装置高于用户的被拍摄部位指的是：图像采集装置在竖直方向上偏离于用户的被拍摄部位，且图像采集装置的高度高于用户的被拍摄部位。这种情况下，第一图像在竖直方向上产生变形，且第一图像下部的被压缩量大于第一图像上部的被压缩量。因此，基于距离值确定的M个子图像的横向压缩比例相同，而纵向拉伸比例不同。
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧。
(2)在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；
图像采集装置低于用户的被拍摄部位指的是：图像采集装置在竖直方向上偏离于用户的被拍摄部位，且图像采集装置的高度低于用户的被拍摄部位。这种情况下，第一图像在竖直方向上产生变形，且第一图像的上部的被压缩量大于第一图像下部的被压缩量。因此，基于距离值确定的M个子图像的横向压缩比例相同，而纵向拉伸比例不同。
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧。
图6a示出了所述图像采集装置在竖直方向上偏离于用户的被拍摄部位的第一图像被划分的一个示意图；其中，TX1所指示的框图用于表征第一图像。第一图像TX1包括子图像1和子图像2，第1个子图像与第2个子图像相邻，且第1个子图像位于第2个子图像的上侧。
在所述图像采集装置高于所述用户的被拍摄部位时，第1个子图像的横向压缩比例HYS1和第2个子图像的横向压缩比例HYS2相同，而第1个子图像的纵向拉伸比例ZLS1小于第2个子图像的纵向拉伸比例ZLS2。
在所述图像采集装置低于所述用户的被拍摄部位时，第1个子图像的横向压缩比例HYS1和第2个子图像的横向压缩比例HYS2相同，而第1个子图像的纵向拉伸比例ZLS1大于第2个子图像的纵向拉伸比例ZLS2。
(3)在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；
图像采集装置位于用户的被拍摄部位的左侧指的是：图像采集装置在水平方向上偏离于用户的被拍摄部位，且图像采集装置位于用户的被拍摄部位的左侧。这种情况下，第一图像在水平方向上会产生变形，且第一图像右侧的被压缩量大于第一图像左侧的被压缩量。因此，基于距离值确定的M个子图像的纵向压缩比例相同，而横向拉伸比例不同。
其中，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
(4)在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
图像采集装置位于用户的被拍摄部位的右侧指指的是：图像采集装置在水平方向上偏离于用户的被拍摄部位，且图像采集装置位于用户的被拍摄部位的右侧。这种情况下，第一图像在水平方向上产生变形，且第一图像左侧的被压缩量大于第一图像右侧的被压缩量。因此，基于距离值确定的M个子图像的纵向压缩比例相同，而横向拉伸比例不同。
其中，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
图6b示出了所述图像采集装置在水平方向上偏离于用户的被拍摄部位的第一图像被划分的一个示意图；其中，TX1所指示的框图用于表征第一图像。第一图像TX1包括子图像1和子图像2，第1个子图像与第2个子图像相邻，且第2个子图像位于第1个子图像的右侧。
在所述图像采集装置位于所述用户的被拍摄部位左侧时，第1个子图像的纵向压缩比例ZYS1和第2个子图像的纵向压缩比例ZYS2相同，而第1个子图像的横向拉伸比例HLS1小于第2个子图像的横向拉伸比例HLS2。
在所述图像采集装置位于所述用户的被拍摄部位的右侧时，第1个子图像的纵向压缩比例ZYS1和第2个子图像的纵向压缩比例ZYS2相同，而第1个子图像的横向拉伸比例ZLS1大于第2个子图像的横向拉伸比例ZLS2。
在本发明中，不同的距离值对应不同的纵向拉伸比例、横向压缩比例、纵向压缩比例和横向拉伸比例，具体可以根据实际情况预先设定，本发明不做限定。但是，所遵循的规则为，M个子图像的横向拉伸比例和纵向拉伸比例与距离值呈负相关关系，M个子图像的横向压缩比例和纵向压缩比例与距离值呈正相关关系。
其中，负相相关关系表征为距离值越大，横向拉伸比例和纵向拉伸比例越小，距离值越小，横向拉伸比例和纵向拉伸比例越大。正相相关关系表征为距离值越大，横向压缩比例和纵向压缩比例越大，距离值越小，横向压缩比例和纵向压缩比例越小。
需强调的是，纵向拉伸比例为：经纵向拉伸后的子图像的纵向尺寸与拉伸前的子图像的纵向尺寸之间的比值；横向拉伸比例为：经横向拉伸后的子图像的横向尺寸与拉伸前的子图像的横向尺寸的比值；纵向压缩比例为：经纵向压缩后的子图像的纵向尺寸与压缩前的子图像的纵向尺寸之间的比值；横向压缩比例为：经横向压缩后的子图像的横向尺寸与压缩前的子图像的横向尺寸之间的比值。
以负相关关系为例，距离值为30cm时，纵向拉伸比为1.3，如果拉伸前的子图像的纵向尺寸为1，那么拉伸后的子图像的纵向尺寸为1.3；距离值为40cm时，纵向拉伸比为1.2，如果拉伸前的子图像的纵向尺寸为1，那么拉伸后的子图像的纵向尺寸为1.2。
以正相关关系为例，距离值为30cm时，纵向压缩比为0.7，如果压缩前的子图像的纵向尺寸为1，那么压缩后的子图像的纵向尺寸为0.7；距离值为40cm时，纵向压缩比为0.8，如果压缩前的子图像的纵向尺寸为1，那么压缩后的子图像的纵向尺寸为0.8。
与上述图像处理方法相对应的，本发明还公开了一种电子设备，在实施例四中，如图7所示，电子设备包括：获取图像单元701、划分图像单元702、确定参数单元703、第一处理单元704以及第二处理单元705；具体的：
获取图像单元701，用于获取用户的第一图像；
为了实现对变形图像的图像处理，需要先获取用户的第一图像。第一图像的来源本发明不做限定，具体的，作为一种方式，本端电子设备设置有图像采集装置，如摄像头，第一图像可以为本端电子设备的图像采集装置采集到的图像；作为另一种方式，第一图像还可以为对端电子设备或服务器的图像采集装置所采集并发送给本端电子设备的图像。
划分图像单元702，用于按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；
在本发明的预设规则中，第一图像中用户与产生第一图像的图像采集装置的不同的相对位置对应于不同的划分方式。具体的，如图8所示，划分图像单元801包括：确定位置模块801A、竖直划分模块801B以及水平划分模块801C；其中：
确定位置模块801A，用于确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；
具体的，作为一种方式，系统可以采用图像处理算法对第一图像进行处理分析来确定用户与产生第一图像的图像采集装置之间的相对位置。例如，通过处理分析确定第一图像在竖直方向上发生变形，那么可以确定图像采集装置在竖直方向偏离于用户的被拍摄部位；若通过处理分析确定第一图像在水平方向上发生变形，那么可以确定图像采集装置在水平方向偏离于用户的被拍摄部位。
竖直划分模块801B，用于当所述图像采集装置在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将所述第一图像划分为M个子图像；
水平划分模块801C，用于当所述图像采集装置在水平方向偏离于所述用户的被拍摄部位时，在水平方向将所述第一图像划分为M个子图像。
确定参数单元703，用于确定所述M个子图像的图像校正参数；
在本发明中，用户与产生第一图像的图像采集装置之间的相对位置的不同对应于不同的图像校正参数，具体的，图像校正参数包括纵向拉伸比例、纵向压缩比例、横向拉伸比例、横向压缩比例中的一种或多种。
第一处理单元704，用于利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
第二处理单元705，用于对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果。
由此可见，在本实施例中，在对图像采集装置产生的图像进行梯形拉伸处理前，先对划分后的第一图像进行缩放处理，这种方式相对于现有技术中仅对图像采集装置产生的图像进行梯形拉伸处理而言，进一步降低了图像的变形程度。
本发明实施例五公开了一种电子设备，与实施例四不同的是，本实施例主要介绍确定参数单元的具体实现方式，如图9所示，确定参数单元901包括：第一确定模块901A和第二确定模块901B；其中：
第一确定模块901A，用于确定所述用户与产生所述第一图像的图像采集装置之间的距离值；
第二确定模块901B，用于根据所述距离值确定所述M个子图像的图像校正参数。
在本发明中，用户与产生第一图像的图像采集装置之间的距离值，具体用于表征用户的被拍摄部位与用于拍摄的图像采集装置之间的距离，确定方式有多种，一种方式下，该距离值可以由对端设备发送给本端电子设备，本端电子设备直接接收距离值即可；另一种方式下，本端电子设备可以采用测距器件来测量用户与产生第一图像的图像采集装置之间的距离值；还有一种方式，本端电子设备可以通过预设的图像处理方法，通过对第一图像进行处理分析来确定用户与产生第一图像的图像采集装置之间的距离值。当然，作为一种优选的方式，第一确定模块901A具体用于确定所述第一图像中所述用户的头部图像的高度，计算所述用户的头部图像的高度与所述第一图像的高度的比值，利用所述比值确定所述用户与所述图像采集装置之间的距离。
本发明实施例六公开了一种电子设备，在实施例五的基础上，描述第二确定模块的实现方式，具体的：
第二确定模块具体用于在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；
第二确定模块具体用于在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；
第二确定模块具体用于在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；
第二确定模块具体用于在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
在本发明中，不同的距离值对应不同的纵向拉伸比例、横向压缩比例、纵向压缩比例和横向拉伸比例，具体可以根据实际情况预先设定，本发明不做限定。但是，所遵循的规则为，M个子图像的横向拉伸比例和纵向拉伸比例与距离值呈负相关关系，M个子图像的横向压缩比例和纵向压缩比例与距离值呈正相关关系。
其中，负相相关关系表征为距离值越大，横向拉伸比例和纵向拉伸比例越小，距离值越小，横向拉伸比例和纵向拉伸比例越大。正相相关关系表征为距离值越大，横向压缩比例和纵向压缩比例越大，距离值越小，横向压缩比例和纵向压缩比例越小。
需强调的是，纵向拉伸比例为：经纵向拉伸后的子图像的纵向尺寸与拉伸前的子图像的纵向尺寸之间的比值；横向拉伸比例为：经横向拉伸后的子图像的横向尺寸与拉伸前的子图像的横向尺寸的比值；纵向压缩比例为：经纵向压缩后的子图像的纵向尺寸与压缩前的子图像的纵向尺寸之间的比值；横向压缩比例为：经横向压缩后的子图像的横向尺寸与压缩前的子图像的横向尺寸之间的比值。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种图像处理方法，其特征在于，包括：
获取用户的第一图像；
按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；其中，所述按照预设规则将所述第一图像划分为M个子图像，包括：确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；当所述图像采集装置仅在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将所述第一图像划分为M个子图像；当所述图像采集装置仅在水平方向偏离于所述用户的被拍摄部位时，在水平方向将所述第一图像划分为M个子图像；
确定所述M个子图像的图像校正参数；
利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果；
其中，所述确定所述M个子图像的图像校正参数，包括：确定所述用户与产生所述第一图像的图像采集装置之间的距离值；根据所述距离值确定所述M个子图像的图像校正参数；
所述根据所述距离值确定所述M个子图像的图像校正参数，包括：
在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；
在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；
在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；
在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
2.根据权利要求1所述的图像处理方法，其特征在于，所述M个子图像的横向拉伸比例和纵向拉伸比例与所述距离值呈负相关关系，所述M个子图像的横向压缩比例和纵向压缩比例与所述距离值呈正相关关系。
3.根据权利要求2所述的图像处理方法，其特征在于，所述确定所述用户与产生所述第一图像的图像采集装置之间的距离值，包括：
确定所述第一图像中所述用户的头部图像的高度；
计算所述用户的头部图像的高度与所述第一图像的高度的比值；
利用所述比值确定所述用户与所述图像采集装置之间的距离。
4.一种电子设备，其特征在于，包括：
获取图像单元，用于获取用户的第一图像；
划分图像单元，用于按照预设规则将所述第一图像划分为M个子图像，其中，M为大于1的整数；所述划分图像单元，包括：确定位置模块，用于确定所述用户与产生所述第一图像的图像采集装置之间的相对位置；竖直划分模块，用于当所述图像采集装置仅在竖直方向偏离于所述用户的被拍摄部位时，在竖直方向将所述第一图像划分为M个子图像；水平划分模块，用于当所述图像采集装置仅在水平方向偏离于所述用户的被拍摄部位时，在水平方向将所述第一图像划分为M个子图像；
确定参数单元，用于确定所述M个子图像的图像校正参数；
第一处理单元，用于利用所述M个子图像的图像校正参数分别对所述M个子图像进行缩放处理，经缩放处理后的M个子图像形成所述用户的第二图像；
第二处理单元，用于对所述第二图像进行梯形拉伸处理，以调整所述第二图像的俯仰角视觉效果和/或倾斜角视觉效果；
其中，所述确定参数单元，包括：第一确定模块，用于确定所述用户与产生所述第一图像的图像采集装置之间的距离值；第二确定模块，用于根据所述距离值确定所述M个子图像的图像校正参数；
所述第二确定模块具体用于在所述图像采集装置高于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例小于第i+1个子图像的纵向拉伸比例；在所述图像采集装置低于所述用户的被拍摄部位时，根据所述距离值确定所述M个子图像的横向压缩比例和纵向拉伸比例，其中，所述M个子图像的横向压缩比例相同，所述M个子图像中的第i个子图像的纵向拉伸比例大于第i+1个子图像的纵向拉伸比例；在所述图像采集装置位于所述用户的被拍摄部位的左侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例小于第j+1个子图像的横向拉伸比例；在所述图像采集装置位于所述用户的被拍摄部位的右侧时，根据所述距离值确定所述M个子图像的横向拉伸比例和纵向压缩比例，其中，所述M个子图像的纵向压缩比例相同，所述M个子图像中的第j个子图像的横向拉伸比例大于第j+1个子图像的横向拉伸比例；
其中，i＝1,…M-1，第i个子图像与第i+1个子图像相邻、且第i个子图像位于第i+1个子图像的上侧，j＝1,…M-1，第j个子图像与第j+1个子图像相邻、且第j个子图像位于第j+1个子图像的左侧。
5.根据权利要求4所述的电子设备，其特征在于，所述M个子图像的横向拉伸比例和纵向拉伸比例与所述距离值呈负相关关系，所述M个子图像的横向压缩比例和纵向压缩比例与所述距离值呈正相关关系。
6.根据权利要求5所述的电子设备，其特征在于，所述第一确定模块具体用于确定所述第一图像中所述用户的头部图像的高度，计算所述用户的头部图像的高度与所述第一图像的高度的比值，利用所述比值确定所述用户与所述图像采集装置之间的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610326910.8A CN105959542B (zh) | 2016-05-17 | 2016-05-17 | 图像处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610326910.8A CN105959542B (zh) | 2016-05-17 | 2016-05-17 | 图像处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105959542A CN105959542A (zh) | 2016-09-21 |
| CN105959542B true CN105959542B (zh) | 2019-06-25 |
Family
ID=56912931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610326910.8A Active CN105959542B (zh) | 2016-05-17 | 2016-05-17 | 图像处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105959542B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109274894B (zh) * | 2018-12-05 | 2021-01-08 | 维沃移动通信有限公司 | 一种拍摄方法及拍摄装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5850487A (en) * | 1994-04-25 | 1998-12-15 | Fuji Photo Film Co., Ltd. | Digital image processing apparatus |
| CN1671176A (zh) * | 2004-03-19 | 2005-09-21 | 卡西欧计算机株式会社 | 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 |
| CN1758708A (zh) * | 2005-11-03 | 2006-04-12 | 浙江工贸职业技术学院 | 投影仪梯形矫正装置 |
| CN101616326A (zh) * | 2008-06-27 | 2009-12-30 | 索尼株式会社 | 图像处理设备和图像处理方法以及程序 |
| CN104980651A (zh) * | 2014-04-04 | 2015-10-14 | 佳能株式会社 | 图像处理设备及控制方法 |
-
2016
- 2016-05-17 CN CN201610326910.8A patent/CN105959542B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5850487A (en) * | 1994-04-25 | 1998-12-15 | Fuji Photo Film Co., Ltd. | Digital image processing apparatus |
| CN1671176A (zh) * | 2004-03-19 | 2005-09-21 | 卡西欧计算机株式会社 | 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置 |
| CN1758708A (zh) * | 2005-11-03 | 2006-04-12 | 浙江工贸职业技术学院 | 投影仪梯形矫正装置 |
| CN101616326A (zh) * | 2008-06-27 | 2009-12-30 | 索尼株式会社 | 图像处理设备和图像处理方法以及程序 |
| CN104980651A (zh) * | 2014-04-04 | 2015-10-14 | 佳能株式会社 | 图像处理设备及控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105959542A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105554391B (zh) | 摄像头的控制方法及装置、金融设备终端 | |
| CN102917232B (zh) | 基于人脸识别的3d显示自适应调节方法和装置 | |
| JP7125545B2 (ja) | ビデオ画面調整方法、装置、コンピュータ装置および記憶媒体 | |
| US9195881B2 (en) | Image transformation apparatus and method | |
| CN102300043B (zh) | 调整远程呈现会议系统的会场摄像头的方法及会议终端 | |
| US20150358611A1 (en) | Apparatus and method for adjusting stereoscopic image parallax and stereo camera | |
| CN104639911B (zh) | 一种全景视频拼接方法及装置 | |
| CN104574321A (zh) | 图像修正方法、图像修正装置和视频系统 | |
| MX2007012650A (es) | Sistema y metodo para igualacion de tamano de cabeza de imagenes panoramicas de 360 grados. | |
| US20080278516A1 (en) | System and method for adjusting perceived eye rotation in image of face | |
| CN108919982A (zh) | 一种基于人脸朝向识别的自动键鼠切换方法 | |
| CN106201201B (zh) | 视图调整方法和系统 | |
| CN109992809A (zh) | 一种建筑模型的构建方法、装置及存储装置 | |
| CN105959542B (zh) | 图像处理方法及电子设备 | |
| CN104735467B (zh) | 视频画中画广告生成方法及装置 | |
| EP4220547A1 (en) | Method and apparatus for determining heat data of global region, and storage medium | |
| CN106169281A (zh) | 显示面板闪烁度调节设备及调节方法 | |
| CN106791915A (zh) | 一种显示视频图像的方法和装置 | |
| CN102236790B (zh) | 一种图像处理方法和设备 | |
| CN107705708B (zh) | 显示屏的显示控制方法及系统 | |
| CN104537627B (zh) | 一种深度图像的后处理方法 | |
| CN105472245A (zh) | 一种拍照方法、电子设备 | |
| CN110764342A (zh) | 智能投影显示装置及其投影画面的调整方法 | |
| CN106952231B (zh) | 一种基于手机平台的图像实时校正方法 | |
| CN103593873B (zh) | 人脸影像调整系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |