CN107026979A - 双摄像头拍照方法及装置 - Google Patents
双摄像头拍照方法及装置 Download PDFInfo
- Publication number
- CN107026979A CN107026979A CN201710258751.7A CN201710258751A CN107026979A CN 107026979 A CN107026979 A CN 107026979A CN 201710258751 A CN201710258751 A CN 201710258751A CN 107026979 A CN107026979 A CN 107026979A
- Authority
- CN
- China
- Prior art keywords
- camera
- object distance
- mapping table
- focusing
- focusing position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
一种双摄像头拍照方法，应用于电子设备中，所述方法包括：获取拍摄目标；当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置；驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。本发明还提供一种双摄像头拍照装置。本发明能提高了对焦速度及准度。
Description
技术领域
本发明涉及拍照技术领域，尤其涉及一种双摄像头拍照方法及装置。
背景技术
为了提高终端的拍照效果，越来越多的电子设备采用双摄像头，一个彩色摄像头、一个黑白摄像头。但采用双摄像头就需要对两个摄像头进行对焦，使两个摄像头能合焦。若合焦不成功，就会使被拍摄物体不能清晰成像。目前正常光下的对焦方法都是采用单一的对焦方法，容易出现对焦速度慢，对焦不准确。
发明内容
鉴于以上内容，有必要提供一种双摄像头拍照方法及装置，能提高对焦速度及对焦准度。
一种双摄像头拍照方法，应用于电子设备中，所述电子设备包括第一摄像头及第二摄像头，所述第一摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，所述方法包括：获取拍摄目标；当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
根据本发明优选实施例，所述控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置包括：
预先设置所述映射表；
利用所述电子设备的测距装置测量所述拍摄目标与所述第一摄像头的距离；
根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
根据本发明优选实施例，所述预先设置所述映射表包括：
预先选定目标点及预先设置所述多个物距值；
对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
根据本发明优选实施例，所述根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置包括：
当所述拍摄目标与所述第一摄像头的距离小于或者等于所述映射表中的最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离大于或者等于所述映射表中的最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
根据本发明优选实施例，所述预设条件包括以下一种或者多种：搜索次数大于或等于预设次数、搜索步长小于或等于预设步长。
一种双摄像头拍照装置，运行于电子设备中，所述电子设备包括第一摄像头及第二摄像头，所述第一摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，所述装置包括：
获取模块，用于获取拍摄目标；
对焦模块，用于当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；
所述对焦模块还用于驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；
所述对焦模块还用于基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；
拍摄模块，用于基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
根据本发明优选实施例，所述对焦模块包括：
设置子模块，用于预先设置所述映射表；
测量子模块，用于利用所述电子设备的测距装置测量所述拍摄目标与所述第一摄像头的距离；
确定子模块，用于根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
根据本发明优选实施例，所述设置子模块用于预先设置所述映射表包括：
预先选定目标点及预先设置所述多个物距值；
对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
根据本发明优选实施例，所述确定子模块用于根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置包括：
当所述拍摄目标与所述第一摄像头的距离小于或者等于所述映射表中的最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离大于或者等于所述映射表中的最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
根据本发明优选实施例，所述预设条件包括以下一种或者多种：搜索次数大于或等于预设次数、搜索步长小于或等于预设步长。
由以上技术方案，本发明获取拍摄目标；当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。因此，本发明能提高对焦速度及对焦准度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明双摄像头拍照方法的较佳实施例的流程图。
图2是本发明中利用爬山搜索法搜索最佳对焦位置的示意图。
图3是本发明双摄像头拍照装置的较佳实施例的功能模块图。
图4是本发明实现双摄像头拍照方法的较佳实施例的电子设备的结构示意图。
主要元件符号说明
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
优选地，本发明的双摄像头拍照方法可以应用在一个或者多个所述电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述电子设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、交互式网络电视(Internet ProtocolTelevision，IPTV)、智能式穿戴式设备、数码相机等。所述电子设备包括两个摄像头，其中第一摄像头为彩色摄像头，第二摄像头为黑白摄像头。
需要简单说明的是，摄像头的结构一般由镜头、传感器和外围电路组成，传感器不能独立工作，需要外围电路的支持才能将光信号转换成电信号；光线经拍摄目标反射通过镜头到达传感器的感光元件上，从而实现光信号转换成电信号，转换后的电信号被传送至图像信号处理器进行分析处理，并调整对焦镜片，寻找图像最清晰的点，此过程即为自动对焦的过程。在本发明的实施例中，在确定了对焦位置后，用摄像头的对焦镜片到所述摄像头的感光元件的距离表示对焦位置。例如，当摄像头的对焦镜片到所述摄像头的感光元件的距离为3mm时，则所述对焦位置位于离所述摄像头的感光元件的距离为3mm处。
所述第一摄像头包括，但不限于第一对焦镜片、第一传感器、第一感光元件、测距装置等等。所述第二摄像头包括第二对焦镜片、第二传感器、第二感光元件等等。所述测距装置用于测量拍摄目标与所述第一摄像头的距离。例如，激光测距仪等等。通过配置所述第一摄像头和所述第二摄像头，所述第二摄像头负责勾勒拍摄目标的轮廓，所述第一摄像头负责还原拍摄目标的色彩。
如图1所示，是本发明双摄像头拍照方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S10，所述电子设备获取拍摄目标。
在本发明的至少一个实施例中，其中，所述获取拍摄目标具体可以是用户将所述电子设备的摄像头对准要拍摄的物体的过程。
进一步地，所述获取拍摄目标之前，还包括：
接收相机的启动指令；
具体的，用户点击所述电子设备上相机的应用图标的动作即触发了所述相机的启动指令，所述电子设备便可以接收到相机的启动指令。
S11，所述电子设备当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置。
在本发明的至少一个实施例中，所述电子设备包括光线感应器。所述电子设备的存储器存储有多个光线区间范围，包括：正常光的光线区间范围、暗光的光线区间范围、强光的光线区间范围等等。利用机器学习算法，根据大样本数据训练确定所述多个光线区间范围，这样更能保证数据准确性。
所述电子设备利用所述光线感应器感测当前光线值，并确定所述当前光线值所在的光线区间范围。当所述当前光线值在所述暗光的光线区间范围内时，所述电子设备确定当前光线为暗光。当所述当前光线值在所述正常光的光线区间范围内或者在强光的光线区间范围内时，所述电子设备确定当前光线不是暗光。在其他实施例中，也可以通过其他方式判断当前光线是否为暗光，本发明不做任何限制。
在本发明的至少一个实施例中，由于所述第一摄像头包括测距装置，所述电子设备控制所述第一摄像头利用测距对焦法实现快速对焦功能。
优选地，所述电子设备确定所述第一摄像头的快速对焦位置包括：
(1)预先设置所述映射表。
所述映射表包括多个物距值，及每个物距值对应的对焦位置。一个物距值对应的对焦位置表示当物距为所述物距值，且目标点最清晰时，所述第一对焦镜片到所述第一感光元件的距离。
所述映射表可以是变距映射表。当所述映射表为变距映射表时，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值可以不相同，例如所述多个物距值为0.9米、1米、1.05米、1.055米、1.12米、1.14米等等。这样可以设置多个不同的物距，提高拍摄图片的质量。
在所述多个物距值中，有一个最小物距值(如，1米)及一个最大距离值(如，2米)。在所述最小物距值与所述最大物距值之间，物距值的数量越多，所述映射表越准确。一般在所述电子设备出厂前，设置所述映射表。
在本发明的至少一个实施例中，预先设置映射表的过程包括：
(a)预先选定目标点及预先设置所述多个物距值。
(b)对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
在本发明的至少一个实施例中，当所述目标点固定的情况下，所述第一摄像头的焦距随着所述物距而变化。
(2)利用所述测距装置测量所述拍摄目标与所述第一摄像头的距离。
(3)根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离小于或者等于所述最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离大于或者等于所述最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
优选地，所述两个物距值中的一个物距值用第一物距值表示，另外一个物距值用第二物距值表示。所述拍摄目标与所述第一摄像头的距离用目标距离表示。所述电子设备先计算所述第一物距值对应的第一权重，及所述第二物距值对应的第二权重。所述快速对焦位置＝(第一权重*第一物距值对应的对焦位置+第二权重*第二物距值对应的对焦位置)。
优选地，所述第一权重＝(所述目标距离与所述第一物距值对应的对焦位置之差的绝对值)/(所述第二物距值对应的对焦位置与所述第一物距值对应的对焦位置之差的绝对值)，所述第二权重＝(所述目标距离与所述第二物距值对应的对焦位置之差的绝对值)/(所述第二物距值对应的对焦位置与所述第一物距值对应的对焦位置之差的绝对值)。
S12，所述电子设备驱动所述第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置。
在本发明的至少一个实施例中，所述目标位置可以是所述邻近范围内的任意一个位置。例如，所述快速对焦位置用2mm表示，即表示所述第一对焦镜片到所述第一感光元件的距离为2mm。所述快速对焦位置的邻近范围为[3mm,4mm]。即将所述第二对焦镜片移动到一个目标位置，所述目标位置与所述第二感光元件的距离在[3mm,4mm]之间。
从所述目标位置开始，利用爬山搜索算法逐步缩小包含对焦评价函数值的最大值的搜索范围，通过多次搜索，直至达到预设条件，并确定所述第二对焦位置。所述预设条件包括，但不限于，搜索次数大于或等于预设次数，搜索步长小于或等于预设步长。所述搜索步长随着搜索次数的增加逐渐减小。在一次搜索过程中，所述第一对焦镜片以相同的搜索步长移动。
优选地，如图2所示，在第一次搜索过程中，从所述目标位置A点开始，驱动所述第二对焦镜片以第一步长朝着远离所述第二感光元件的方向或者靠近所述第二感光元件的方向移动，每走一步计算当前的对焦评价函数值，与前一步所得的对焦评价函数值进行比较，记录较大的对焦评价函数值及所述较大的对焦评价函数值对应的对焦位置，即记录了以下对焦位置：B、C、D、E、F、G，确定第二次搜索的范围为在D与F之间搜索。在第二次搜索中，以第二步长搜索，所述第二步长小于第一步长。所述电子设备驱动所述第一对焦镜片从D处开始，移动到F处结束，记录了以下对焦位置：D、H、I、J、K、L、M、N、F，确定第三次搜索的范围在J与L之间搜索，如此反复搜索，直至达到预设条件。所述电子设备将最后一次搜索过程中对焦评价函数最大值对应的对焦位置确定为所述第二对焦位置。
在其他实施例中，为了减少计算量，所述电子设备从所述目标位置开始，以预设步长驱动所述第二对焦镜片以第一步长朝着远离所述第二感光元件的方向或者靠近所述第二感光元件的方向移动。每走一步，所述电子设备计算当前的对焦评价函数值，直至对焦评价函数值出现下降。当所述对焦评价函数值开始下降时，所述电子设备驱动所述第二对焦镜片后退预设距离，并将后退预设距离后的位置确定为所述第二对焦位置。
S13，所述电子设备基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置。
在本发明的至少一个实施例中，所述电子设备从所述快速对焦位置开始，利用爬山搜索算法逐步缩小包含对焦评价函数值的最大值的搜索范围，通过多次搜索，直至达到预设条件，并确定满足所述预设条件的所述第一对焦位置。所述预设条件包括，但不限于，搜索次数大于或等于预设次数，搜索步长小于或等于预设步长。所述搜索步长随着搜索次数的增加逐渐减小。在一次搜索过程中，所述第一对焦镜片以相同的搜索步长移动。具体的搜索过程与图3类似，不再赘述。
在其他实施例中，为了减少计算量，所述电子设备从所述快速对焦位置开始，以预设步长驱动所述第一对焦镜片以第一步长朝着远离所述第一感光元件的方向或者靠近所述第一感光元件的方向移动。每走一步，所述电子设备计算当前的对焦评价函数值，直至对焦评价函数值出现下降。当所述对焦评价函数值开始下降时，所述电子设备驱动所述第一对焦镜片后退预设距离，并将后退预设距离后的位置确定为所述第一对焦位置。
S14，所述电子设备基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
如图3所示，本发明双摄像头拍照装置的较佳实施例的功能模块图。所述双摄像头拍照装置11包括获取模块100、对焦模块101、判断模块102及拍摄模块103。所述对焦模块101包括设置子模块1010、测量子模块1011及确定子模块1012。本发明所称的模块是指一种能够被处理器13所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述获取模块100获取拍摄目标。
在本发明的至少一个实施例中，其中，所述获取拍摄目标具体可以是用户将所述电子设备的摄像头对准要拍摄的物体的过程。
进一步地，所述获取模块100获取拍摄目标之前，还包括：
接收相机的启动指令；
具体的，用户点击所述电子设备上相机的应用图标的动作即触发了所述相机的启动指令，所述电子设备便可以接收到相机的启动指令。
当检测到当前光线不是暗光时，所述对焦模块101控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置。
在本发明的至少一个实施例中，所述电子设备包括光线感应器。所述电子设备的存储器存储有多个光线区间范围，包括：正常光的光线区间范围、暗光的光线区间范围、强光的光线区间范围等等。利用机器学习算法，根据大样本数据训练确定所述多个光线区间范围，这样更能保证数据准确性。
所述判断模块102利用所述光线感应器感测当前光线值，并确定所述当前光线值所在的光线区间范围。当所述当前光线值在所述暗光的光线区间范围内时，所述判断模块102确定当前光线为暗光。当所述当前光线值在所述正常光的光线区间范围内或者在强光的光线区间范围内时，所述判断模块102当前光线不是暗光。在其他实施例中，也可以通过其他方式判断当前光线是否为暗光，本发明不做任何限制。
在本发明的至少一个实施例中，由于所述第一摄像头包括测距装置，所述对焦模块101控制所述第一摄像头利用测距对焦法实现快速对焦功能。
优选地，所述对焦模块101确定所述第一摄像头的快速对焦位置包括：
所述设置子模块1010预先设置所述映射表。
所述映射表包括多个物距值，及每个物距值对应的对焦位置。一个物距值对应的对焦位置表示当物距为所述物距值，且目标点最清晰时，所述第一对焦镜片到所述第一感光元件的距离。
所述映射表可以是变距映射表。当所述映射表为变距映射表时，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值可以不相同，例如所述多个物距值为0.9米、1米、1.05米、1.055米、1.12米、1.14米等等。
在所述多个物距值中，有一个最小物距值(如，1米)及一个最大距离值(如，2米)。在所述最小物距值与所述最大物距值之间，物距值的数量越多，所述映射表越准确。一般在所述电子设备出厂前，设置所述映射表。
在本发明的至少一个实施例中，所述设置子模块1010预先设置映射表的过程包括：
(a)预先选定目标点及预先设置所述多个物距值。
(b)对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
在本发明的至少一个实施例中，当所述目标点固定的情况下，所述第一摄像头的焦距随着所述物距而变化。
所述测量子模块1011利用所述测距装置测量所述拍摄目标与所述第一摄像头的距离。
所述确定子模块1012根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离小于或者等于所述最小物距值时，所述确定子模块1012将所述最小物距值对应的对焦位置确定为所述快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离大于或者等于所述最大物距值时，所述确定子模块1012将所述最大物距值对应的对焦位置确定为所述快速对焦位置。
在本发明的至少一个实施中，当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，所述确定子模块1012根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
优选地，所述两个物距值中的一个物距值用第一物距值表示，另外一个物距值用第二物距值表示。所述拍摄目标与所述第一摄像头的距离用目标距离表示。所述确定子模块1012先计算所述第一物距值对应的第一权重，及所述第二物距值对应的第二权重。所述快速对焦位置＝(第一权重*第一物距值对应的对焦位置+第二权重*第二物距值对应的对焦位置)。
优选地，所述第一权重＝(所述目标距离与所述第一物距值对应的对焦位置之差的绝对值)/(所述第二物距值对应的对焦位置与所述第一物距值对应的对焦位置之差的绝对值)，所述第二权重＝(所述目标距离与所述第二物距值对应的对焦位置之差的绝对值)/(所述第二物距值对应的对焦位置与所述第一物距值对应的对焦位置之差的绝对值)。
所述对焦模块101驱动所述第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置。
在本发明的至少一个实施例中，所述目标位置可以是所述邻近范围内的任意一个位置。例如，所述快速对焦位置用2mm表示，即表示所述第一对焦镜片到所述第一感光元件的距离为2mm。所述快速对焦位置的邻近范围为[3mm,4mm]。即将所述第二对焦镜片移动到一个目标位置，所述目标位置与所述第二感光元件的距离在[3mm,4mm]之间。
所述对焦模块101从所述目标位置开始，利用爬山搜索算法逐步缩小包含对焦评价函数值的最大值的搜索范围，通过多次搜索，直至达到预设条件，并确定所述第二对焦位置。所述预设条件包括，但不限于，搜索次数大于或等于预设次数，搜索步长小于或等于预设步长。所述搜索步长随着搜索次数的增加逐渐减小。在一次搜索过程中，所述第一对焦镜片以相同的搜索步长移动。
优选地，如图2所示，在第一次搜索过程中，从所述目标位置A点开始，驱动所述第二对焦镜片以第一步长朝着远离所述第二感光元件的方向或者靠近所述第二感光元件的方向移动，每走一步计算当前的对焦评价函数值，与前一步所得的对焦评价函数值进行比较，记录较大的对焦评价函数值及所述较大的对焦评价函数值对应的对焦位置，即记录了以下对焦位置：B、C、D、E、F、G，确定第二次搜索的范围为在D与F之间搜索。在第二次搜索中，以第二步长搜索，所述第二步长小于第一步长。所述电子设备驱动所述第一对焦镜片从D处开始，移动到F处结束，记录了以下对焦位置：D、H、I、J、K、L、M、N、F，确定第三次搜索的范围在J与L之间搜索，如此反复搜索，直至达到预设条件。所述对焦模块101将最后一次搜索过程中对焦评价函数最大值对应的对焦位置确定为所述第二对焦位置。
在其他实施例中，为了减少计算量，所述对焦模块101从所述目标位置开始，以预设步长驱动所述第二对焦镜片以第一步长朝着远离所述第二感光元件的方向或者靠近所述第二感光元件的方向移动。每走一步，所述对焦模块101计算当前的对焦评价函数值，直至对焦评价函数值出现下降。当所述对焦评价函数值开始下降时，所述对焦模块101驱动所述第二对焦镜片后退预设距离，并将后退预设距离后的位置确定为所述第二对焦位置。
所述对焦模块101基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置。
在本发明的至少一个实施例中，所述对焦模块101从所述快速对焦位置开始，利用爬山搜索算法逐步缩小包含对焦评价函数值的最大值的搜索范围，通过多次搜索，直至达到预设条件，并确定满足所述预设条件的所述第一对焦位置。所述预设条件包括，但不限于，搜索次数大于或等于预设次数，搜索步长小于或等于预设步长。所述搜索步长随着搜索次数的增加逐渐减小。在一次搜索过程中，所述第一对焦镜片以相同的搜索步长移动。具体的搜索过程与图3类似，不再赘述。
在其他实施例中，为了减少计算量，所述对焦模块101从所述快速对焦位置开始，以预设步长驱动所述第一对焦镜片以第一步长朝着远离所述第一感光元件的方向或者靠近所述第一感光元件的方向移动。每走一步，所述对焦模块101计算当前的对焦评价函数值，直至对焦评价函数值出现下降。当所述对焦评价函数值开始下降时，所述对焦模块101驱动所述第一对焦镜片后退预设距离，并将后退预设距离后的位置确定为所述第一对焦位置。
所述拍摄模块103基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。
如图4所示，图4是本发明实现双摄像头拍照方法的较佳实施例的电子设备的结构示意图。所述电子设备1包括存储器12、处理器13、第一摄像头14、第二摄像头15及测距装置16。
所述电子设备1还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备1所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述存储器12用于存储一种双摄像头拍照方法的程序和各种数据，并在所述电子设备1运行过程中实现高速、自动地完成程序或数据的存取。所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储器)、FIFO(FirstIn First Out，)等。或者，所述存储器12也可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。
所述处理器13又称中央处理器(CPU，Central Processing Unit)，是一块超大规模的集成电路，是电子设备1的运算核心(Core)和控制核心(Control Unit)。所述处理器13可执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等，例如双摄像头拍照装置11。
所述第一摄像头14包括第一传感器141、第一感光元件142及第一对焦镜片143。所述第二摄像头15包括第二传感器151、第二感光元件152及第二对焦镜片153。在本发明的实施例中，所述第一摄像头14为彩色摄像头，所述第二摄像头15为黑白摄像头。所述测距装置16用于测量拍摄目标与所述第一摄像头14的距离。例如，激光测距仪等等。通过配置所述第一摄像头14和所述第二摄像头15，所述第二摄像头15负责勾勒拍摄目标的轮廓，所述第一摄像头14负责还原拍摄目标的色彩。
结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种双摄像头拍照方法，所述处理器13可执行所述多个指令从而实现：
获取拍摄目标；当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
根据本发明优选实施例，所述控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置包括：
预先设置所述映射表；
利用所述电子设备的测距装置测量所述拍摄目标与所述第一摄像头的距离；
根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
根据本发明优选实施例，所述预先设置所述映射表包括：
预先选定目标点及预先设置所述多个物距值；
对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
根据本发明优选实施例，所述根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置包括：
当所述拍摄目标与所述第一摄像头的距离小于或者等于所述映射表中的最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离大于或者等于所述映射表中的最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
根据本发明优选实施例，所述预设条件包括以下一种或者多种：搜索次数大于或等于预设次数、搜索步长小于或等于预设步长。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种双摄像头拍照方法，应用于电子设备中，所述电子设备包括第一摄像头及第二摄像头，所述第一摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，其特征在于，所述方法包括：
获取拍摄目标；
当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；
驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；
基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；
基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
2.如权利要求1所述的双摄像头拍照方法，其特征在于，所述控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置包括：
预先设置所述映射表；
利用所述电子设备的测距装置测量所述拍摄目标与所述第一摄像头的距离；
根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
3.如权利要求2所述的双摄像头拍照方法，其特征在于，所述预先设置所述映射表包括：
预先选定目标点及预先设置所述多个物距值；
对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
4.如权利要求2所述的双摄像头拍照方法，其特征在于，所述根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置包括：
当所述拍摄目标与所述第一摄像头的距离小于或者等于所述映射表中的最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离大于或者等于所述映射表中的最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
5.如权利要求1所述的双摄像头拍照方法，其特征在于，所述预设条件包括以下一种或者多种：搜索次数大于或等于预设次数、搜索步长小于或等于预设步长。
6.一种双摄像头拍照装置，运行于电子设备中，所述电子设备包括第一摄像头及第二摄像头，所述第一摄像头为彩色摄像头，所述第二摄像头为黑白摄像头，其特征在于，所述装置包括：
获取模块，用于获取拍摄目标；
对焦模块，用于当检测到当前光线不是暗光时，控制所述第一摄像头利用快速对焦功能进行对焦，根据预先设置的映射表确定所述第一摄像头的快速对焦位置，所述映射表包括多个物距值，及每个物距值对应的对焦位置，将所述多个物距值排序后，任意相邻的两个物距值之差的绝对值不相同；
所述对焦模块还用于驱动所述第二摄像头的第二对焦镜片移动至所述快速对焦位置的邻近范围内的一个目标位置，并基于所述目标位置搜索满足预设条件的所述第二摄像头的第二对焦位置；
所述对焦模块还用于基于所述快速对焦位置，搜索满足预设条件的所述第一摄像头的第一对焦位置；
拍摄模块，用于基于所述第一对焦位置及所述第二对焦位置，对所述拍摄目标进行拍摄。
7.如权利要求6所述的双摄像头拍照装置，其特征在于，所述对焦模块包括：
设置子模块，用于预先设置所述映射表；
测量子模块，用于利用所述电子设备的测距装置测量所述拍摄目标与所述第一摄像头的距离；
确定子模块，用于根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置。
8.如权利要求7所述的双摄像头拍照装置，其特征在于，所述设置子模块用于预先设置所述映射表包括：
预先选定目标点及预先设置所述多个物距值；
对每个物距值而言，对所述目标点拍照，当所述目标点最清晰时，记录每个物距值对应的对焦位置。
9.如权利要求7所述的双摄像头拍照装置，其特征在于，所述确定子模块用于根据所述拍摄目标与所述第一摄像头的距离及所述映射表，确定快速对焦位置包括：
当所述拍摄目标与所述第一摄像头的距离小于或者等于所述映射表中的最小物距值时，将所述最小物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离大于或者等于所述映射表中的最大物距值时，将所述最大物距值对应的对焦位置确定为所述快速对焦位置；或
当所述拍摄目标与所述第一摄像头的距离位于所述映射表中两个物距值之间时，根据所述两个物距值对应的对焦位置确定所述快速对焦位置。
10.如权利要求6所述的双摄像头拍照装置，其特征在于，所述预设条件包括以下一种或者多种：搜索次数大于或等于预设次数、搜索步长小于或等于预设步长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710258751.7A CN107026979B (zh) | 2017-04-19 | 2017-04-19 | 双摄像头拍照方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710258751.7A CN107026979B (zh) | 2017-04-19 | 2017-04-19 | 双摄像头拍照方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107026979A true CN107026979A (zh) | 2017-08-08 |
| CN107026979B CN107026979B (zh) | 2020-09-11 |
Family
ID=59527896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710258751.7A Active CN107026979B (zh) | 2017-04-19 | 2017-04-19 | 双摄像头拍照方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107026979B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109639974A (zh) * | 2018-12-20 | 2019-04-16 | Oppo广东移动通信有限公司 | 控制方法、控制装置、电子装置及介质 |
| CN110602409A (zh) * | 2019-10-23 | 2019-12-20 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备及存储介质 |
| CN111209782A (zh) * | 2018-11-22 | 2020-05-29 | 中国银联股份有限公司 | 一种机房设备异常灯的识别方法以及识别系统 |
| CN112492210A (zh) * | 2020-12-01 | 2021-03-12 | 维沃移动通信有限公司 | 拍照方法、装置、电子设备及存储介质 |
| CN113329183A (zh) * | 2021-07-01 | 2021-08-31 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
| CN113438407A (zh) * | 2020-03-23 | 2021-09-24 | 华为技术有限公司 | 多摄像头模组对焦方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851318B1 (ko) * | 2007-05-02 | 2008-08-22 | 티.비.티. 주식회사 | 주·야간 감시용 카메라 |
| CN102589426A (zh) * | 2012-01-13 | 2012-07-18 | 同济大学 | 自动标定尺寸的地质照相系统及照相方法 |
| US20140247324A1 (en) * | 2013-03-04 | 2014-09-04 | EarthCam, Inc. | All weather camera system and methods for control thereof |
| CN104883502A (zh) * | 2015-05-19 | 2015-09-02 | 广东欧珀移动通信有限公司 | 移动终端的对焦方法及装置 |
| CN105657251A (zh) * | 2015-12-24 | 2016-06-08 | 广东欧珀移动通信有限公司 | 拍照控制方法、拍照控制装置及拍照系统 |
| CN106226976A (zh) * | 2016-09-22 | 2016-12-14 | 宇龙计算机通信科技(深圳)有限公司 | 一种双摄像头拍摄方法、系统及终端 |
| CN106254682A (zh) * | 2016-09-22 | 2016-12-21 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
-
2017
- 2017-04-19 CN CN201710258751.7A patent/CN107026979B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100851318B1 (ko) * | 2007-05-02 | 2008-08-22 | 티.비.티. 주식회사 | 주·야간 감시용 카메라 |
| CN102589426A (zh) * | 2012-01-13 | 2012-07-18 | 同济大学 | 自动标定尺寸的地质照相系统及照相方法 |
| US20140247324A1 (en) * | 2013-03-04 | 2014-09-04 | EarthCam, Inc. | All weather camera system and methods for control thereof |
| CN104883502A (zh) * | 2015-05-19 | 2015-09-02 | 广东欧珀移动通信有限公司 | 移动终端的对焦方法及装置 |
| CN105657251A (zh) * | 2015-12-24 | 2016-06-08 | 广东欧珀移动通信有限公司 | 拍照控制方法、拍照控制装置及拍照系统 |
| CN106226976A (zh) * | 2016-09-22 | 2016-12-14 | 宇龙计算机通信科技(深圳)有限公司 | 一种双摄像头拍摄方法、系统及终端 |
| CN106254682A (zh) * | 2016-09-22 | 2016-12-21 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209782A (zh) * | 2018-11-22 | 2020-05-29 | 中国银联股份有限公司 | 一种机房设备异常灯的识别方法以及识别系统 |
| CN111209782B (zh) * | 2018-11-22 | 2024-04-16 | 中国银联股份有限公司 | 一种机房设备异常灯的识别方法以及识别系统 |
| CN109639974A (zh) * | 2018-12-20 | 2019-04-16 | Oppo广东移动通信有限公司 | 控制方法、控制装置、电子装置及介质 |
| CN110602409A (zh) * | 2019-10-23 | 2019-12-20 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备及存储介质 |
| CN110602409B (zh) * | 2019-10-23 | 2021-06-04 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备及存储介质 |
| CN113438407A (zh) * | 2020-03-23 | 2021-09-24 | 华为技术有限公司 | 多摄像头模组对焦方法和装置 |
| CN113438407B (zh) * | 2020-03-23 | 2022-10-04 | 华为技术有限公司 | 多摄像头模组对焦方法和装置 |
| CN112492210A (zh) * | 2020-12-01 | 2021-03-12 | 维沃移动通信有限公司 | 拍照方法、装置、电子设备及存储介质 |
| CN113329183A (zh) * | 2021-07-01 | 2021-08-31 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
| CN113329183B (zh) * | 2021-07-01 | 2022-08-09 | 珠海丽珠试剂股份有限公司 | 拍摄设备对焦方法、装置和多重液相芯片拍摄设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107026979B (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107026979A (zh) | 双摄像头拍照方法及装置 | |
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN111457886B (zh) | 距离确定方法、装置及系统 | |
| CN101713902B (zh) | 快速的相机自动聚焦 | |
| CN205883405U (zh) | 一种自动追焦装置及终端 | |
| CN108028887B (zh) | 一种终端的拍照对焦方法、装置及设备 | |
| CN107077154B (zh) | 云台控制方法、装置、存储介质以及无人机 | |
| CN105979165A (zh) | 虚化照片生成方法、装置和移动终端 | |
| US20070189750A1 (en) | Method of and apparatus for simultaneously capturing and generating multiple blurred images | |
| CN110278383A (zh) | 聚焦方法、装置以及电子设备、存储介质 | |
| CN105657238B (zh) | 跟踪对焦方法及装置 | |
| JP2014145725A (ja) | 画像処理装置、撮像装置 | |
| CN106226976A (zh) | 一种双摄像头拍摄方法、系统及终端 | |
| CN108200335A (zh) | 基于双摄像头的拍照方法、终端及计算机可读存储介质 | |
| CN107787463A (zh) | 优化对焦堆栈的捕获 | |
| CN107105183A (zh) | 录音音量调节方法及装置 | |
| CN112333379A (zh) | 图像对焦方法、装置及图像采集设备 | |
| CN112291473B (zh) | 对焦方法、装置及电子设备 | |
| CN110232707A (zh) | 一种测距方法及装置 | |
| CN107124547A (zh) | 双摄像头拍照方法及装置 | |
| CN107806830A (zh) | 一种基于变焦摄像头的测距装置及使用方法 | |
| CN105025219A (zh) | 图像获取方法 | |
| CN109698902B (zh) | 一种同步聚焦方法及装置 | |
| JP6485116B2 (ja) | 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム | |
| CN103176349B (zh) | 镜头检测装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |