CN115442520A - 图像拍摄方法、图像处理方法及拍摄系统 - Google Patents

图像拍摄方法、图像处理方法及拍摄系统 Download PDF

Info

Publication number
CN115442520A
CN115442520A CN202210944164.4A CN202210944164A CN115442520A CN 115442520 A CN115442520 A CN 115442520A CN 202210944164 A CN202210944164 A CN 202210944164A CN 115442520 A CN115442520 A CN 115442520A
Authority
CN
China
Prior art keywords
time
shot
camera
image
recording time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210944164.4A
Other languages
English (en)
Inventor
张煜
蒋志鸿
邵志兢
孙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Prometheus Vision Technology Co ltd
Original Assignee
Zhuhai Prometheus Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Prometheus Vision Technology Co ltd filed Critical Zhuhai Prometheus Vision Technology Co ltd
Priority to CN202210944164.4A priority Critical patent/CN115442520A/zh
Publication of CN115442520A publication Critical patent/CN115442520A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种图像拍摄方法、图像处理方法及拍摄系统。图像拍摄方法包括:响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;确定拍摄图像拍摄时的设备时间;将拍摄图像及拍摄图像对应的设备时间发送至电子设备。图像处理方法包括:接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;根据拍摄图像和记录时间对拍摄图像进行预设图像处理。本申请实施例中,通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和时间相关联,有利于后续对同一时间的拍摄图像进行对齐。

Description

图像拍摄方法、图像处理方法及拍摄系统
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像拍摄方法、图像处理方法及拍摄系统。
背景技术
在一些多相机同时拍摄一个物体的场景中,往往采用定时机制来进行拍摄,比如设置系统时间或者是软件时间,从而控制多个相机同时拍摄一个物体。
但是通过对每个相机设置系统时间或者软件时间,一旦系统或者软件发生了参数改变,可能会导致每个相机的时间是不同的,最终导致相机之间拍摄物体的时间也是不同的。
发明内容
本申请实施例提供一种图像拍摄方法、图像处理方法及拍摄系统。其中本申请实施例中提供的图像拍摄方法和图像处理方法能够通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和时间相关联,有利于后续对同一时间的拍摄图像进行对齐。
第一方面,本申请实施例提供了一种图像拍摄方法,应用于相机阵列中的相机,包括:
响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
确定所述拍摄图像拍摄时的设备时间;
将所述拍摄图像及所述拍摄图像对应的设备时间发送至电子设备。
第二方面,本申请实施例提供了一种图像处理方法,应用于电子设备,包括:
接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及所述拍摄图像拍摄时的记录时间,其中,所述拍摄图像由不同所述相机响应于同一脉冲控制信号得到;
根据所述拍摄图像和所述记录时间对所述拍摄图像进行预设图像处理。
第三方面,本申请实施例提供了脉冲控制信号发射方法,应用于信号源,包括:
向相机阵列中的每一相机同时发送脉冲控制信号,所述脉冲控制信号用于控制所述相机阵列中的每一相机同时对拍摄对象进行拍摄。
第四方面,本申请实施例提供了一种拍摄系统,包括:信号源,多个相机组成的相机阵列,电子设备;
其中,所述信号源用于向相机阵列中的每一相机同时发送脉冲控制信号,所述脉冲控制信号用于控制所述相机阵列中的每一相机同时对拍摄对象进行拍摄;
所述相机用于响应所述脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;以及确定所述拍摄图像拍摄时对应的设备时间;以及将所述拍摄图像和所述设备时间发送给所述电子设备;
所述电子设备用于接收所述拍摄图像和所述设备时间。
第五方面,本申请实施例提供一种图像拍摄装置,应用于相机阵列中的相机,包括:
拍摄模块,用于响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
第一确定模块,用于确定所述拍摄图像拍摄时的设备时间;
发送模块,用于将所述拍摄图像及所述拍摄图像对应的设备时间发送至电子设备。
第六方面,本申请实施例提供一种图像处理装置,应用于电子设备,包括:
接收模块,用于接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及所述拍摄图像拍摄时的记录时间,其中,所述拍摄图像由不同所述相机响应于同一脉冲控制信号得到;
处理模块,用于根据所述拍摄图像和所述记录时间对所述拍摄图像进行预设图像处理。
第七方面,本申请实施例提供一种电子设备,包括:存储有可执行程序代码的存储器、与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,以执行本申请实施例提供的图像拍摄方法中的步骤或者本申请实施例提供的图像处理方法中的步骤。
第八方面,本申请实施例提供一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例提供的图像拍摄方法中的步骤或者本申请实施例提供的图像处理方法中的步骤。
本申请实施例相机可以响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;确定拍摄图像拍摄时的设备时间;将拍摄图像及拍摄图像对应的设备时间发送至电子设备。通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和设备时间相关联,有利于电子设备后续对同一时间的拍摄图像进行对齐。
或者,电子设备可以接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;根据拍摄图像和记录时间对拍摄图像进行预设图像处理。本申请实施例中,通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和记录时间相关联,有利于后续对同一时间的拍摄图像进行对齐。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的拍摄系统的场景示意图。
图2是本申请实施例提供的拍摄系统的第一硬件连接示意图。
图3是本申请实施例提供的拍摄系统的第二硬件连接示意图。
图4是本申请实施例提供的图像拍摄方法的第一流程示意图。
图5是本申请实施例提供的图像拍摄方法的第二流程示意图。
图6是本申请实施例提供的图像拍摄方法的第三流程示意图。
图7是本申请实施例提供的图像拍摄方法的第四流程示意图。
图8是本申请实施例提供的图像处理方法的第一流程示意图。
图9是本申请实施例提供的图像处理方法的第二流程示意图。
图10是本申请实施例提供的图像处理方法的第三流程示意图。
图11是本申请实施例提供的图像处理方法的第四流程示意图。
图12是本申请实施例提供的图像拍摄装置的结构示意图。
图13是本申请实施例提供的图像处理装置的结构示意图。
图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在一些多相机同时拍摄一个物体的场景中,往往采用定时机制来进行拍摄,比如设置系统时间或者是软件时间,从而控制多个相机同时拍摄一个物体。
但是通过对每个相机设置系统时间或者软件时间,一旦系统或者软件发生了参数改变,可能会导致每个相机的时间是不同的,最终导致相机之间拍摄物体的时间也是不同的。
为了解决该技术问题,本申请实施例提供了一种拍摄系统。如图1所示,图1是本申请实施例提供的拍摄系统的场景示意图。
其中该拍摄系统中包含了电子设备、信号源、相机阵列,其中,相机阵列中包含了多个相机,每一相机所处的位置均不同,信号源同时与相机阵列中的每一相机连接,电子设备与信号源连接,电子设备与相机阵列连接。其中,电子设备可以是电脑、服务器等具备计算能力的电子设备。
当相机阵列中的多个相机需要拍摄相机阵列中的拍摄对象时,电子设备可以控制信号源同时向每一相机发送脉冲控制信号,当每一相机接收到脉冲控制信号后,每一相机可以对该拍摄对象进行拍摄,由于每一相机在相机阵列中所处的位置不同,则每一相机对拍摄对象进行拍摄的角度也不同,每一相机的拍摄图像也不同。每一相机可以确定拍摄图像时对应的拍摄时间,该拍摄时间是每一相机自带的硬件时间,而不是系统时间或者是软件时间。
在一些实施方式中,相机阵列中包含了多个位置,每一个位置上可以设置多个相机模组,每一相机模组中可以设置多种相机。比如,在一个位置垂直于地面的空间中,在不同高度设置不同的相机模组,每一相机模组中可以包含拍摄彩色图像的彩色相机,还可以包含深度相机。在一个相机模组拍摄的拍摄图像中可以包含彩色图像和深度图像。
在相机阵列完成对拍摄对象的拍摄后,电子设备可以接收相机阵列中每一相机发送的拍摄图像和拍摄图像对应的时间,然后电子设备根据接收的拍摄图像和拍摄图像对应的时间进行后续的图像处理。
由于整个拍摄过程中,采用了一个信号源同时向多个相机发送脉冲控制信号,且每一相机对拍摄对象拍摄时,采用自身的硬件时间和拍摄图像相关联,有利于后续对同一时间的拍摄图像进行对齐,避免了后续电子设备处理图像时会产生较大误差。
请一并参阅图2,图2是本申请实施例提供的拍摄系统的第一硬件连接示意图。
其中,该拍摄系统中包括电子设备、信号源和多个相机,如图2所示,其中电子设备与多个相机中的每一相机连接,比如电子设备连接相机1、相机2……相机N,每一相机均可以向电子设备发送对应的拍摄图像和拍摄图像对应的时间,该时间可以理解为是相机的硬件时间。
信号源与多个相机中的每一相机连接,比如电子设备连接相机1、相机2……相机N,信号源可以同时对每一相机发送脉冲控制信号,从而使得每一相机根据脉冲控制信号对拍摄对象进行拍摄。
电子设备和信号源连接,电子设备可以控制信号源是否发射脉冲控制信号,电子设备还可以对信号源的脉冲控制信号设置对应的周期和频率,电子设备还可以对信号源设置对应的信号类型,比如方形波、正弦波等等。
在一些实施方式中,信号源可以是采用具备高稳定性的开发板以及设置对应的信号发射电路,开发板上可以编写对应的程序,从而控制信号发射电路发出对应的脉冲控制信号。
在一些实施方式中,信号源和相机上均设置了有线音频接口,信号源可以通过音频线连接每一相机的有线音频接口,从而实现连接每一相机。比如音频接口为3.5mm音频接口。其中,每一相机模组可以对应有一根音频线,该音频线可以通过分线的方式连接相机模组中的每个相机。
在一些实施方式中,电子设备可以获取相机阵列中基准相机发送的基准时间,然后根据基准时间对每一相机对应的拍摄图像的时间进行修正,从而得到修正后的时间。
在一些方式中,电子设备可以对预设帧数范围内的每一相机对应的拍摄图像进行时间修正,比如取最近30帧的拍摄图像,在拍摄图像的时间不准确的情况下,比如在相机阵列同一次拍摄的图像中,一些拍摄图像时间和基准相机的拍摄图像的基准时间不一致,则通过基准时间对拍摄图像的时间进行修正。
在一些实施方式中,电子设备可以对每一相机的拍摄图像进行特征提取,从而得到拍摄对象对应的三维特征。电子设备可以根据三维特征生成对应的体积视频。本申请实施例中,由于通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和时间相关联,有利于电子设备后续对同一时间的拍摄图像进行对齐,从而使得生成的体积视频更加精细,比如具备更细致的纹理,更接近拍摄对象在拍摄时的动作。
其中,体积视频(Volumetric Video,又称容积视频、空间视频、体三维视频或6自由度视频等)是一种通过捕获三维空间中信息(如深度信息和色彩信息等)并生成三维模型序列的技术。相对于传统的视频,体积视频将空间的概念加入到视频中,用三维模型来更好的还原三维世界,而不是以二维的平面视频加上运镜来模拟三维世界的空间感。由于体积视频实质为三维模型序列,使得用户可以随自己喜好调整到任意视角进行观看,较二维平面视频具有更高的还原度和沉浸感。
请继续参阅图3,图3是本申请实施例提供的拍摄系统的第二硬件连接示意图。
其中,拍摄系统可以包括多台电子设备,在相机阵列中每一相机可以连接一台设备。或者在相机阵列中每一相机模组可以连接一台设备,每一相机模组中包含了彩色相机和深度相机。
如图3所示,其中电子设备1连接相机1、电子设备2连接相机2、电子设备N连接相机N。
在一些实施方式中,每一相机对应的电子设备可以对该相机的拍摄图像和拍摄图像对应的时间进行处理。比如,在相机阵列中设置有一个基准相机,基准相机可以将自身的时间广播给其他相机,例如基准相机对应的电子设备和其他相机对应的电子设备之间建立有局域网,基准相机可以先将基准时间发送给对应的电子设备,然后该电子设备通过局域网广播给其他相机对应的电子设备。其他电子设备再根据基准时间对其相关联的相机的拍摄图像的时间进行修正。比如,相机2对应的电子设备2在接收到基准时间之后,可以根据基准时间对相机2的拍摄图像的时间进行修正,得到修正后的时间。
在一些实施方式中,多个相机之间可以建立了局域网,基准相机可以直接通过相机之间的局域网广播基准时间,每一相机在接收到基准时间之后,每一相机可以对其拍摄的拍摄图像的时间进行修正,比如相机2的拍摄图像的时间存在飘移,相机2可以通过基准时间对拍摄图像的时间进行修正,从而得到修正后的时间,然后相机2再将修正后的时间和其关联的拍摄图像发送给相机2对应的电子设备。
需要说明的是,基准相机的基准时间为基准相机本身的硬件时间,不受安装软件或者是系统的干扰。
在一些实施方式中,如图3所示的拍摄系统中,每一电子设备可以根据相机的拍摄图像进行特征提取,然后将提取的特征发送给主电子设备,主电子设备可以对提取的特征进行处理,从而得到三维特征。主电子设备可以根据三维特征生成拍摄对象对应的体积视频。
可选地,在本申请中,用于构成体积视频的三维模型可以按照如下方式重建得到:
先获取拍摄对象的不同视角的彩色图像和深度图像,以及彩色图像对应的相机参数;然后根据获取到的彩色图像及其对应的深度图像和相机参数,训练隐式表达拍摄对象三维模型的神经网络模型,并基于训练的神经网络模型进行等值面提取,实现对拍摄对象的三维重建,得到拍摄对象的三维模型。
应当说明的是,本申请实施例中对采用何种架构的神经网络模型不作具体限制,可由本领域技术人员根据实际需要选取。比如,可以选取不带归一化层的多层感知机(Multilayer Perceptron,MLP)作为模型训练的基础模型。
下面将对本申请提供的三维模型重建方法进行详细描述。
首先,可以同步采用多个彩色相机和深度相机对需要进行三维重建的目标物体(该目标物体即为拍摄对象)进行多视角的拍摄,得到目标物体在多个不同视角的彩色图像及对应的深度图像,即在同一拍摄时刻(实际拍摄时刻的差值小于或等于时间阈值即认为拍摄时刻相同),各视角的彩色相机将拍摄得到目标物体在对应视角的彩色图像,相应的,各视角的深度相机将拍摄得到目标物体在对应视角的深度图像。需要说明的是,目标物体可以是任意物体,包括但不限于人物、动物以及植物等生命物体,或者机械、家具、玩偶等非生命物体。
以此,目标物体在不同视角的彩色图像均具备对应的深度图像,即在拍摄时,彩色相机和深度相机可以采用相机组的配置,同一视角的彩色相机配合深度相机同步对同一目标物体进行拍摄。比如,可以搭建一摄影棚,该摄影棚中心区域为拍摄区域,环绕该拍摄区域,在水平方向和垂直方向每间隔一定角度配对设置有多组彩色相机和深度相机。当目标物体处于这些彩色相机和深度相机所环绕的拍摄区域时,即可通过这些彩色相机和深度相机拍摄得到该目标物体在不同视角的彩色图像及对应的深度图像。
此外,进一步获取每一彩色图像对应的彩色相机的相机参数。其中,相机参数包括彩色相机的内外参,可以通过标定确定,相机内参为与彩色相机自身特性相关的参数,包括但不限于彩色相机的焦距、像素等数据,相机外参为彩色相机在世界坐标系中的参数,包括但不限于彩色相机的位置(坐标)和相机的旋转方向等数据。
如上,在获取到目标物体在同一拍摄时刻的多个不同视角的彩色图像及其对应的深度图像之后,即可根据这些彩色图像及其对应深度图像对目标物体进行三维重建。区别于相关技术中将深度信息转换为点云进行三维重建的方式,本申请训练一神经网络模型用以实现对目标物体的三维模型的隐式表达,从而基于该神经网络模型实现对目标物体的三维重建。
可选地,本申请选用一不包括归一化层的多层感知机(Multilayer Perceptron,MLP)作为基础模型,按照如下方式进行训练:
基于对应的相机参数将每一彩色图像中的像素点转化为射线;
在射线上采样多个采样点,并确定每一采样点的第一坐标信息以及每一采样点距离像素点的SDF值;
将采样点的第一坐标信息输入基础模型,得到基础模型输出的每一采样点的预测SDF值以及预测RGB颜色值;
基于预测SDF值与SDF值之间的第一差异,以及预测RGB颜色值与像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整,直至满足预设停止条件;
将满足预设停止条件的基础模型作为隐式表达目标物体的三维模型的神经网络模型。
首先,基于彩色图像对应的相机参数将彩色图像中的一像素点转化为一条射线,该射线可以为经过像素点且垂直于彩色图像面的射线;然后,在该射线上采样多个采样点,采样点的采样过程可以分两步执行,可以先均匀采样部分采样点,然后再在基于像素点的深度值在关键处进一步采样多个采样点,以保证在模型表面附近可以采样到尽量多的采样点;然后,根据相机参数和像素点的深度值计算出采样得到的每一采样点在世界坐标系中的第一坐标信息以及每一采样点的有向距离(Signed Distance Field,SDF)值,其中,SDF值可以为像素点的深度值与采样点距离相机成像面的距离之间的差值,该差值为有符号的值,当差值为正值时,表示采样点在三维模型的外部,当差值为负值时,表示采样点在三维模型的内部,当差值为零时,表示采样点在三维模型的表面;然后,在完成采样点的采样并计算得到每一采样点对应的SDF值之后,进一步将采样点在世界坐标系的第一坐标信息输入基础模型(该基础模型被配置为将输入的坐标信息映射为SDF值和RGB颜色值后输出),将基础模型输出的SDF值记为预测SDF值,将基础模型输出的RGB颜色值记为预测RGB颜色值;然后,基于预测SDF值与采样点对应的SDF值之间的第一差异,以及预测RGB颜色值与采样点所对应像素点的RGB颜色值之间的第二差异,对基础模型的参数进行调整。
此外,对于彩色图像中的其它像素点,同样按照上述方式进行采样点采样,然后将采样点在世界坐标系的坐标信息输入至基础模型以得到对应的预测SDF值和预测RGB颜色值,用于对基础模型的参数进行调整,直至满足预设停止条件,比如,可以配置预设停止条件为对基础模型的迭代次数达到预设次数,或者配置预设停止条件为基础模型收敛。在对基础模型的迭代满足预设停止条件时,即得到能够对拍摄对象的三维模型进行准确地隐式表达的神经网络模型。最后,可以采用等值面提取算法对该神经网络模型进行三维模型表面的提取,从而得到拍摄对象的三维模型。
可选地,在一些实施例中,根据相机参数确定彩色图像的成像面;确定经过彩色图像中像素点且垂直于成像面的射线为像素点对应的射线。
其中,可以根据彩色图像对应的彩色相机的相机参数,确定该彩色图像在世界坐标系中的坐标信息,即确定成像面。然后,可以确定经过彩色图像中像素点且垂直于该成像面的射线为该像素点对应的射线。
可选地,在一些实施例中,根据相机参数确定彩色相机在世界坐标系中的第二坐标信息及旋转角度;根据第二坐标信息和旋转角度确定彩色图像的成像面。
可选地,在一些实施例中,在射线上等间距采样第一数量个第一采样点;根据像素点的深度值确定多个关键采样点,并根据关键采样点采样第二数量个第二采样点;将第一数量个的第一采样点与第二数量个的第二采样点确定为在射线上采样得到的多个采样点。
其中,先在射线上均匀采样n(即第一数量)个第一采样点,n为大于2的正整数;然后,再根据前述像素点的深度值,从n个第一采样点中确定出距离前述像素点最近的预设数量个关键采样点,或者从n个第一采样点中确定出距离前述像素点小于距离阈值的关键采样点;然后,根据确定出的关键采样点再采样m个第二采样点,m为大于1的正整数;最后,将采样得到的n+m个采样点确定为在射线上采样得到的多个采样点。其中,在关键采样点处再多采样m个采样点,可以使得模型的训练效果在三维模型表面处更为精确,从而提升三维模型的重建精度。
可选地,在一些实施例中,根据彩色图像对应的深度图像确定像素点对应的深度值;基于深度值计算每一采样点距离像素点的SDF值;根据相机参数与深度值计算每一采样点的坐标信息。
其中,在每一像素点对应的射线上采样了多个采样点后,对于每一采样点,根据相机参数、像素点的深度值确定彩色相机的拍摄位置与目标物体上对应点之间的距离,然后基于该距离逐一计算每一采样点的SDF值以及计算出每一采样点的坐标信息。
需要说明的是,在完成对基础模型的训练之后,对于给定的任意一个点的坐标信息,即可由完成训练的基础模型预测其对应的SDF值,该预测的SDF值即表示了该点与目标物体的三维模型的位置关系(内部、外部或者表面),实现对目标物体的三维模型的隐式表达,得到用于隐式表达目标物体的三维模型的神经网络模型。
最后,对以上神经网络模型进行等值面提取,比如可以采用等值面提取算法(Marching cubes,MC)绘制出三维模型的表面,得到三维模型表面,进而根据该三维模型表面得到目标物体的三维模型。
本申请提供的三维重建方案,通过神经网络去隐式建模目标物体的三维模型,并加入深度信息提高模型训练的速度和精度。采用本申请提供的三维重建方案,在时序上持续的对拍摄对象进行三维重建,即可得到拍摄对象在不同时刻的三维模型,这些不同时刻的三维模型按时序构成的三维模型序列即为对拍摄对象所拍摄得到的体积视频。以此,可以针对任意拍摄对象进行“体积视频拍摄”,得到特定内容呈现的体积视频。比如,可以对跳舞的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象舞蹈的体积视频,可以对教学的拍摄对象进行体积视频拍摄,得到可以在任意角度观看拍摄对象教学的体积视频,等等。
需要说明的是,本申请以下实施例涉及的体积视频可采用以上体积视频拍摄方式所拍摄得到。
采用本申请提供的拍摄系统来对拍摄对象进行拍摄,经过电子设备处理,可以得到特定内容呈现的体积视频。比如,可以对跳舞的拍摄对象进行拍摄,得到可以在任意角度观看舞蹈的体积视频,可以对动物进行拍摄,得到可以在任意角度观看的动物活动的视频。
本申请实施例中,由于通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和时间相关联,有利于电子设备后续对同一时间的拍摄图像进行对齐,从而使得生成的体积视频更加精细,比如具备更细致的纹理,更接近拍摄对象在拍摄时的动作。
为了更好的理解本申请实施例中对拍摄对象的拍摄,请参阅图4,图4是本申请实施例提供的图像拍摄方法,该图像拍摄方法应用于相机阵列中的相机。
该图像拍摄方法可以将相机拍摄时的设备时间和拍摄图像相关联,有利于后续对同一时间的拍摄图像进行对齐,进行图像处理。该图像拍摄方法可以包括如下步骤:
110、响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像。
在一些实施方式中,相机阵列中的每一个相机连接同一信号源,该信号源可以同时向每一相机发送脉冲控制信号。相机接收脉冲控制信号,从而对拍摄对象进行拍摄。
比如,深度相机可以拍摄出拍摄对象的深度图像,彩色相机可以拍摄出拍摄对象的彩色图像。
由于相机阵列中不同相机的位置不同,则每一相机对拍摄对象拍摄的角度也有所不同,从而使得每个相机的拍摄图像的拍摄角度也是不同的。
在一些实施方式中,在相机对拍摄对象拍摄的过程中,相机本身具备硬件时间功能,该硬件时间不受软件或者系统的干扰,可以反映出相机拍摄出拍摄图像时的硬件时间,相机可以将拍摄时的硬件时间记录下,从而得到拍摄图像对应的记录时间,多个拍摄图像分别对应的记录时间组合为记录时间信息。
120、确定拍摄图像拍摄时的设备时间。
在一些实施方式中,如果各个相机的硬件时间是一致的,且后续不会发生改变,则可以直接将拍摄图像在拍摄时对应的记录时间确定为该拍摄图像拍摄时的设备时间。
比如,在一个相机的拍摄图像在拍摄时的记录时间为第100秒,则将该第100秒确定为该拍摄图像拍摄时的设备时间。
在一些实施方式中,随着每个拍摄相机在不断拍摄的过程中,由于相机制造的公差等原因,相机之间的硬件时间可能是不一致的,因此通过同一脉冲控制信号同时拍摄的多个拍摄图像中,多个拍摄图像相关联的记录时间可能是不同的。
比如,相机1对应的拍摄图像的记录时间为第100秒,而相机2对应的拍摄图像的记录时间为第100.5秒。而相机1对应的拍摄图像和相机2对应的拍摄图像是同时拍摄的。
相机阵列中存在一基准相机,该基准相机具备自身的硬件时间,以基准相机的硬件时间为基准时间,该基准相机将基准时间信息广播给其他相机,其他相机接收到基准时间信息之后,可以对自身拍摄的拍摄图像的记录时间进行修正,从而得到修正后的记录时间,将修正后的记录时间确定为拍摄图像对应的设备时间。
比如,相机1为基准相机,相机1对应的拍摄图像的记录时间为第100秒,而相机2对应的拍摄图像的记录时间为第100.5秒。而相机1对应的拍摄图像和相机2对应的拍摄图像是同时拍摄的,此时可以对相机2对应的拍摄图像的记录时间进行修正为第100秒。
每一相机均可以通过该基准时间信息对自身拍摄的拍摄图像的时间信息进行修正,从而得到拍摄图像的修正后的记录时间,将该修正后的记录时间确定为拍摄图像的设备时间。
130、将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
在一些实施方式中,相机在确定好每一拍摄图像和每一拍摄图像对应的设备时间之后,相机可以将每一拍摄图像和每一拍摄图像对应的设备时间发送给电子设备。
电子设备可以直接将同一设备时间的拍摄图像确定为同一组拍摄图像,从而对每一组的拍摄图像进行特征提取。最终电子设备可以利用提取出的特征生成体积视频,由于对每一组(每一帧)的图像均是时间对齐的,则对每一组的拍摄图像进行提取的特征是准确的,最终生成的体积视频会拥有更高的质量,比如拥有更加精细的纹理和细节。
在本申请实施例中,相机通过响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;确定拍摄图像拍摄时的设备时间;将拍摄图像及拍摄图像对应的设备时间发送至电子设备。通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和设备时间相关联,有利于电子设备后续对同一时间的拍摄图像进行对齐。
请参阅图5,图5是本申请实施例提供的图像拍摄方法的第二流程示意图。该图像拍摄方法可以包括如下步骤:
210、通过有线音频接口接收信号源发送的脉冲控制信号。
在一些实施方式中,信号源和相机上均设置了有线音频接口,信号源可以通过音频线连接每一相机的有线音频接口,从而实现连接每一相机。比如音频接口为3.5mm音频接口。其中,每一相机模组可以对应有一根音频线,该音频线可以通过分线的方式连接相机模组中的每个相机。
相机可以通过有线音频接口接收信号源发送的脉冲控制信号。针对于多个相机,每一相机可以同时接收到信号源发送的脉冲控制信号。
220、响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像。
每一相机在接收到脉冲控制信号之后,每一相机可以响应脉冲控制信号,比如相机根据脉冲控制信号获取到拍摄指令,然后对拍摄对象进行拍摄,得到拍摄图像。
230、接收相机阵列中基准相机广播的基准时间信息。
相机阵列中存在一基准相机,该基准相机具备自身的硬件时间,以基准相机的硬件时间为基准时间,该基准相机将基准时间信息广播给其他相机。其他相机可以接收该基准时间信息。
例如,基准相机可以将基准时间发送给基准相机对应的电子设备,然后基准相机对应的电子设备再将该基准时间广播给其他相机对应的电子设备,其他相机对应的电子设备在接收到基准时间之后,再将该基准时间发送给对应的相机。
又比如,基准相机和其他相机之间直接建立有局域网,直接通过局域网的方式将基准相机的基准时间信息同时发送给其他相机。
在一些实施方式中,基准相机可以定时发送基准时间,比如每隔预设时长广播一次基准时间,其他相机接收该基准时间。
在一些实施方式中,相机阵列每拍摄一次拍摄对象,基准相机就广播一次基准时间给其他相机。
240、根据基准时间信息对拍摄图像对应的记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,相机可以采用基准时间信息中最新的基准时间信息来对相机的拍摄图像的记录时间进行修正。
具体请参阅图6,图6是本申请实施例提供的图像拍摄方法的第三流程示意图。可以包括如下步骤:
301、获取基准时间信息中最新基准时间。
在一些实施方式中,相机在一段时间内接收到多个基准时间信息,可以将基准时间信息中确定出最新的基准时间,利用最新的基准时间来对拍摄图像对应的记录时间进行修正。
302、在相机保存的记录时间信息中,确定出距离最新基准时间最近的第一目标时间。
相机在对拍摄对象进行拍摄的过程中,每拍摄一次,在本地就会保留一次时间,从而生成记录时间信息。
相机可以在保存的记录时间信息中确定出距离最新基准时间最近的第一目标时间,比如,最新基准时间为第100秒,记录时间信息中有第98秒、第99秒、第100.5秒,则第100.5秒距离第100秒最近,相机将其作为第一目标时间。
303、根据最新基准时间和第一目标时间确定出记录时间对应的时间修正值。
在一些实施方式中,相机可以用第一目标时间减去最新基准时间,然后得到记录时间对应的时间修正值。比如,最新基准时间为第100秒,第一目标时间为第100.5秒,那么时间修正值就是0.5秒。
304、根据时间修正值对记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,相机可以根据时间修正值对拍摄图像的记录时间进行修正,比如,记录时间为第101.5秒,通过记录时间减去时间修正值,就得到修正后的记录时间,该记录时间为101秒。
同理,针对于第一目标时间之后的预设帧数的拍摄图像,每一拍摄图像均可以采用该时间修正值对其相应的记录时间进行修正,从而得到每一拍摄图像对应的修正后的记录时间。
请继续参阅图7,图7是本申请实施例提供的图像拍摄方法的第四流程示意图。
在一些实施方式中,相机可以采用利用基准相机发送的多个基准时间来对拍摄图像的记录时间进行修正。如图7所示,具体可以包括如下步骤:
401、获取基准时间信息中距离最新基准时间的第一预设个数的第一时间。
在一些实施方式中,相机在一段时间内接收到多个基准时间信息,可以将基准时间信息中确定出第一预设个数的第一时间,具体的,相机在基准时间信息中先确定出最新基准时间,然后确定最新基准时间之前的第一预设个数的第一时间。
比如,第一预设个数为5,则在基准时间信息中确定出距离最新基准时间的5条时间,将这5条时间确定为第一时间。
402、在相机保存的记录时间信息中,确定出距离最新记录时间的第一预设个数的第二时间。
相机在对拍摄对象进行拍摄的过程中,每拍摄一次,在本地就会保留一次时间,从而生成记录时间信息。
相机可以在相机保存的记录时间信息中,确定出距离最新记录时间的第一预设个数的第二时间。比如,第一预设个数为5,最新记录时间为第100.5秒,则在第100.5秒之前确定出5条时间,将这5条时间确定为第二时间。
403、根据第一预设个数的第一时间和第一预设个数的第二时间确定出记录时间对应的时间修正值。
在一些实施方式中,相机可以确定第一预设个数的第一时间的第一平均值,然后确定第一预设个数的第二时间的第二平均值。最后将第二平均值减去第一平均值,得到时间修正值。
在一些实施方式中,相机可以在第一预设个数的第一时间中确定出位于中位数的目标第一时间,在第一预设个数的第二时间中确定出位于中位数的目标第二时间。最后将目标第二时间减去目标第一时间,得到时间修正值。
404、根据时间修正值对拍摄图像对应的记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,相机可以根据时间修正值对拍摄图像的记录时间进行修正,比如,记录时间为第101.5秒,通过记录时间减去时间修正值,就得到修正后的记录时间,该记录时间为101秒。
针对于其他拍摄图像,同样可以采用上述确定时间修正值的方式来进行修正。
在一些实施方式中,针对于不同的拍摄周期,每个拍摄周期内的拍摄图像,可以通过该拍摄周期内的基准时间对该拍摄周期内的拍摄图像进行记录时间修正。
请继续参阅图5,步骤250、将修正后的记录时间确定为拍摄图像对应的设备时间。
相机将修正后的记录时间确定为拍摄图像对应的设备时间。
260、将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
在一些实施方式中,相机在确定好每一拍摄图像和每一拍摄图像对应的设备时间之后,相机可以将每一拍摄图像和每一拍摄图像对应的设备时间发送给电子设备。
电子设备可以直接将同一设备时间的拍摄图像确定为同一组拍摄图像,从而对每一组的拍摄图像进行特征提取。最终电子设备可以利用提取出的特征生成体积视频,由于对每一组(每一帧)的图像均是时间对齐的,则对每一组的拍摄图像进行提取的特征是准确的,最终生成的体积视频会拥有更高的质量,比如拥有更加精细的纹理和细节。
在本申请实施例中,相机通过有线音频接口接收信号源发送的脉冲控制信号,响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像。然后接收相机阵列中基准相机广播的基准时间信息。根据基准时间信息对拍摄图像对应的记录时间进行修正,得到修正后的记录时间。最后将修正后的记录时间确定为拍摄图像对应的设备时间,将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
在本申请实施例中,相机可以根据基准相机发送的基准时间对拍摄图像的记录时间进行修正,将修正后的时间确定为拍摄图像的设备时间,从而使得每一相机的拍摄图像的时间是同步的,以便于后续电子设备根据时间来对拍摄图像进行对齐。
请参阅图8,图8是本申请实施例提供的图像处理方法的第一流程示意图。
在一些实施方式中,相机可以直接将拍摄图像和拍摄图像对应的记录时间发送给电子设备。电子设备后续再对拍摄图像的记录时间进行修正,从而使得多个相机同一次拍摄的拍摄图像中,每一拍摄图像相关联的时间是同步的。
如图8所示,该图像处理方法可以包括如下步骤:
510、接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到。
在一些实施方式中,电子设备可以先控制信号源同时向相机阵列中的多个相机同时发送脉冲控制信号。相机阵列中的相机在完成对拍摄对象的拍摄后,每一相机的拍摄图像和该拍摄图像对应的记录时间发送给电子设备。
电子设备接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间。
520、根据拍摄图像和记录时间对拍摄图像进行预设图像处理。
电子设备可以在相机阵列中确定出基准相机,然后根据基准相机的基准时间信息对拍摄图像和拍摄图像的记录时间进行修正,从而得到修正后的记录时间,将该修正后的记录时间和拍摄图像相关联。
在对每一相机的拍摄图像进行记录时间修正之后,电子设备可以根据修正后的记录时间对所有相机的拍摄图像进行对齐。比如,将时间为第100秒的所有拍摄图像确定为一组拍摄图像,从而完成对该组拍摄图像的对齐。电子设备在完成对拍摄图像的对齐之后,可以得到多组拍摄图像。
电子设备可以对多组拍摄图像进行预设图像处理。比如,电子设备可以提取出每组拍摄图像中每一拍摄图像的特征,然后根据该特征生成体积视频。
在本申请实施例中,电子设备可以接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;根据拍摄图像和记录时间对拍摄图像进行预设图像处理。本申请实施例中,通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和记录时间相关联,后续根据相机阵列中基准相机的基准时间信息对每一拍摄图像的记录时间进行修正,得到修正后的记录时间,电子设备根据修正后的记录时间对拍摄图像进行对齐,从而更加有利于后续预设图像处理的处理效果及处理精度。
请继续参阅图9,图9是本申请实施例提供的图像处理方法的第二流程示意图。该图像处理方法可以包括如下步骤:
610、确定相机阵列对应的拍摄频率,根据拍摄频率确定脉冲控制信号的频率。
在一些实施方式中,电子设备可以确定出相机阵列的拍摄频率,比如通过拍摄对象的动作快慢来确定出拍摄频率,例如动作快则拍摄频率高。或者,通过拍摄对象的动作幅度来确定出拍摄频率,动作幅度大则拍摄频率高。
在确定好拍摄频率之后,电子设备可以对信号源设置对应的脉冲控制信号频率。
620、根据脉冲控制信号的频率向相机阵列中的每一相机同时发射脉冲控制信号。
电子设备确定好脉冲控制信号的频率之后,将脉冲控制信号的频率发送给信号源,信号源根据脉冲控制信号的频率可以同时向相机阵列中的每一相机同时发射脉冲控制信号。
630、接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,接收相机阵列中基准相机发送的基准时间信息。
在一些实施方式中,电子设备可以先控制信号源同时向相机阵列中的多个相机同时发送脉冲控制信号。相机阵列中的相机在完成对拍摄对象的拍摄后,每一相机的拍摄图像和该拍摄图像对应的记录时间发送给电子设备。
电子设备接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间。
其中相机阵列中有一基准相机,电子设备可以对该基准发送的基准时间信息进行保存。以后续对其他相机的拍摄图像的记录时间进行修正。
640、根据基准时间信息对拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,电子设备可以采用基准时间信息中最新的基准时间信息来对相机的拍摄图像的记录时间进行修正。
具体请参阅图10,图10是本申请实施例提供的图像处理方法的第三流程示意图。具体可以包括如下步骤:
701、获取基准时间信息中最新基准时间。
在一些实施方式中,电子设备可以在基准时间信息中确定出最新的基准时间,利用最新的基准时间来对拍摄图像对应的记录时间进行修正。
702、在已保存的相机对应的记录时间信息中,确定出距离最新基准时间最近的第二目标时间。
电子设备在已保存的相机对应的记录时间信息中,确定出距离最新基准时间最近的第二目标时间,比如,最新基准时间为第100秒,记录时间信息中有第98秒、第99秒、第100.5秒,则第100.5秒距离第100秒最近,相机将其作为第二目标时间。
703、根据最新基准时间和第二目标时间确定出记录时间对应的时间修正量。
在一些实施方式中,相机可以用第二目标时间减去最新基准时间,然后得到记录时间对应的时间修正量。比如,最新基准时间为第100秒,第二目标时间为第100.5秒,那么时间修正量就是0.5秒。
704、根据时间修正量对记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,电子设备可以根据时间修正量对拍摄图像的记录时间进行修正,比如,记录时间为第101.5秒,通过记录时间减去时间修正量,就得到修正后的记录时间,该记录时间为101秒。
同理,针对于第二目标时间之后的预设帧数的拍摄图像,每一拍摄图像均可以采用该时间修正量对其相应的记录时间进行修正,从而得到每一拍摄图像对应的修正后的记录时间。
请继续参阅图11,图11是本申请实施例提供的图像处理方法的第四流程示意图。
在一些实施方式中,电子设备可以采用利用基准相机发送的多个基准时间来对拍摄图像的记录时间进行修正。如图11所示,具体可以包括如下步骤:
801、获取基准时间信息中距离最新基准时间的第二预设个数的第三时间。
在一些实施方式中,电子设备可以将基准时间信息中确定出第一预设个数的第一时间,具体的,电子设备在基准时间信息中先确定出最新基准时间,然后确定最新基准时间之前的第二预设个数的第三时间。
比如,第二预设个数为5,则在基准时间信息中确定出距离最新基准时间的5条时间,将这5条时间确定为第三时间。
802、在已保存的相机对应的记录时间信息中,确定出距离最新记录时间的第二预设个数的第四时间。
电子设备可以在相机对应的记录时间信息中,确定出距离最新记录时间的第二预设个数的第四时间。比如,第二预设个数为5,最新记录时间为第100.5秒,则在第100.5秒之前确定出5条时间,将这5条时间确定为第四时间。
803、根据第二预设个数的第三时间和第二预设个数的第四时间确定出记录时间对应的时间修正量。
在一些实施方式中,电子设备可以在第二预设个数的第三时间中确定出位于中位数的目标第三时间,在第二预设个数的第四时间中确定出位于中位数的目标第四时间。最后将目标第四时间减去目标第三时间,得到时间修正量。
在一些实施方式中,电子设备可以确定第二预设个数的第三时间的第三平均值,确定第二预设个数的第四时间的第四平均值。最后将第四平均值减去第三平均值,得到时间修正量。
804、根据时间修正量对记录时间进行修正,得到修正后的记录时间。
在一些实施方式中,电子设备可以根据时间修正量对拍摄图像的记录时间进行修正,比如,记录时间为第101.5秒,通过记录时间减去时间修正量,就得到修正后的记录时间,该记录时间为101秒。
针对于其他拍摄图像,同样可以采用上述确定时间修正量的方式来进行修正。
在一些实施方式中,针对于不同的拍摄周期,每个拍摄周期内的拍摄图像,可以通过该拍摄周期内的基准时间对该拍摄周期内的拍摄图像进行记录时间修正。
650、根据拍摄图像和拍摄图像对应的修正后的记录时间,对拍摄图像进行预设图像处理。
在对每一相机的拍摄图像进行记录时间修正之后,电子设备可以根据修正后的记录时间对所有相机的拍摄图像进行对齐。比如,将时间为第100秒的所有拍摄图像确定为一组拍摄图像,从而完成对该组拍摄图像的对齐。电子设备在完成对拍摄图像的对齐之后,可以得到多组拍摄图像。
电子设备可以对多组拍摄图像进行预设图像处理。比如,电子设备可以提取出每组拍摄图像中每一拍摄图像的特征,然后根据该特征生成体积视频。
在本申请实施例中,电子设备通过确定相机阵列对应的拍摄频率,根据拍摄频率确定脉冲控制信号的频率,根据脉冲控制信号的频率向相机阵列中的每一相机同时发射脉冲控制信号。然后接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,接收相机阵列中基准相机发送的基准时间信息。最后根据基准时间信息对拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间。根据拍摄图像和拍摄图像对应的修正后的记录时间,对拍摄图像进行预设图像处理。
本申请实施例中,通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和记录时间相关联,后续根据相机阵列中基准相机的基准时间信息对每一拍摄图像的记录时间进行修正,得到修正后的记录时间,电子设备根据修正后的记录时间对拍摄图像进行对齐,从而更加有利于后续预设图像处理的处理效果及处理精度。
请参阅图12,图12是本申请实施例提供的图像拍摄装置的结构示意图。该图像拍摄装置应用于相机阵列中的相机,图像拍摄装置900包括:
拍摄模块910,用于响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像。
第一确定模块920,用于确定拍摄图像拍摄时的设备时间。
第一确定模块920,还用于接收相机阵列中基准相机广播的基准时间信息;
根据基准时间信息对拍摄图像对应的记录时间进行修正,得到修正后的记录时间;
将修正后的记录时间确定为拍摄图像对应的设备时间。
第一确定模块920,还用于获取基准时间信息中最新基准时间;
在相机保存的记录时间信息中,确定出距离最新基准时间最近的第一目标时间;
根据最新基准时间和第一目标时间确定出记录时间对应的时间修正值;
根据时间修正值对记录时间进行修正,得到修正后的记录时间。
第一确定模块920,还用于获取基准时间信息中距离最新基准时间的第一预设个数的第一时间;
在相机保存的记录时间信息中,确定出距离最新记录时间的第一预设个数的第二时间;
根据第一预设个数的第一时间和第一预设个数的第二时间确定出记录时间对应的时间修正值;
根据时间修正值对拍摄图像对应的记录时间进行修正,得到修正后的记录时间。
第一确定模块920,还用于在第一预设个数的第一时间中确定出位于中位数的目标第一时间;
在第一预设个数的第二时间中确定出位于中位数的目标第二时间;
将目标第二时间减去目标第一时间,得到时间修正值。
第一确定模块920,还用于确定第一预设个数的第一时间的第一平均值;
确定第一预设个数的第二时间的第二平均值;
将第二平均值减去第一平均值,得到时间修正值。
发送模块930,用于将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
在本申请实施例中,相机通过响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;确定拍摄图像拍摄时的设备时间;将拍摄图像及拍摄图像对应的设备时间发送至电子设备。通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和设备时间相关联,有利于电子设备后续对同一时间的拍摄图像进行对齐。
请参阅图13,图13是本申请实施例提供的图像处理装置,该图像处理装置应用于电子设备,该图像处理装置1000可以包括:
接收模块1010,用于接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到。
接收模块1010,还用于在接收相机阵列中目标相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间之前,确定相机阵列对应的拍摄频率;根据拍摄频率确定脉冲控制信号的频率;根据脉冲控制信号的频率向相机阵列中的每一相机同时发射脉冲控制信号。
处理模块1020,用于根据拍摄图像和记录时间对拍摄图像进行预设图像处理。
处理模块1020,还用于接收相机阵列中基准相机发送的基准时间信息;
根据基准时间信息对拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间;
根据拍摄图像和拍摄图像对应的修正后的记录时间,对拍摄图像进行预设图像处理。
处理模块1020,还用于获取基准时间信息中最新基准时间;
在已保存的相机对应的记录时间信息中,确定出距离最新基准时间最近的第二目标时间;
根据最新基准时间和第二目标时间确定出记录时间对应的时间修正量;
根据时间修正量对记录时间进行修正,得到修正后的记录时间。
处理模块1020,还用于获取基准时间信息中距离最新基准时间的第二预设个数的第三时间;
在已保存的相机对应的记录时间信息中,确定出距离最新记录时间的第二预设个数的第四时间;
根据第二预设个数的第三时间和第二预设个数的第四时间确定出记录时间对应的时间修正量;
根据时间修正量对记录时间进行修正,得到修正后的记录时间。
处理模块1020,还用于在第二预设个数的第三时间中确定出位于中位数的目标第三时间;
在第二预设个数的第四时间中确定出位于中位数的目标第四时间;
将目标第四时间减去目标第三时间,得到时间修正量。
处理模块1020,还用于确定第二预设个数的第三时间的第三平均值;
确定第二预设个数的第四时间的第四平均值;
将第四平均值减去第三平均值,得到时间修正量。
在本申请实施例中,电子设备可以接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;根据拍摄图像和记录时间对拍摄图像进行预设图像处理。本申请实施例中,通过同一脉冲控制信号控制多个相机拍摄图像,并将每一相机的拍摄图像和记录时间相关联,后续根据相机阵列中基准相机的基准时间信息对每一拍摄图像的记录时间进行修正,得到修正后的记录时间,电子设备根据修正后的记录时间对拍摄图像进行对齐,从而更加有利于后续预设图像处理的处理效果及处理精度。
相应的,本申请实施例还提供一种电子设备,如图14所示,该电子设备1100可以包括有一个或一个以上计算机可读存储介质的存储器1101、输入单元1102、显示单元1103、传感器1104、包括有一个或者一个以上处理核心的处理器1105、以及电源1106等部件。本领域技术人员可以理解,图13中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
存储器1101可用于存储软件程序以及模块,处理器1105通过运行存储在存储器1101的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1101可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1101可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1101还可以包括存储器控制器,以提供处理器1105和输入单元1102对存储器1101的访问。
输入单元1102可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元1102可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1105,并能接收处理器1105发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元1102还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1103可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1103可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器1105以确定触摸事件的类型,随后处理器1105根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图13中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器1104,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
处理器1105是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器1101内的软件程序和/或模块,以及调用存储在存储器1101内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器1105可包括一个或多个处理核心;优选的,处理器1105可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1105中。
电子设备还包括给各个部件供电的电源1106(比如电池),优选的,电源可以通过电源管理系统与处理器1105逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1106还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器1105会加载存储器1101上存储的计算机程序,处理器1105通过加载计算机程序,从而实现图像拍摄方法中的各种功能:
响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
确定拍摄图像拍摄时的设备时间;
将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
具体在本实施例中,电子设备中的处理器1105会加载存储器1101上存储的计算机程序,处理器1105通过加载计算机程序,从而实现图像处理方法中的各种功能:
接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;
根据拍摄图像和记录时间对拍摄图像进行预设图像处理。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像拍摄方法中的步骤。例如,该指令可以执行如下步骤:
响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
确定拍摄图像拍摄时的设备时间;
将拍摄图像及拍摄图像对应的设备时间发送至电子设备。
本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如,该指令可以执行如下步骤:
接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及拍摄图像拍摄时的记录时间,其中,拍摄图像由不同相机响应于同一脉冲控制信号得到;
根据拍摄图像和记录时间对拍摄图像进行预设图像处理。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种图像拍摄方法或图像处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种图像拍摄方法或图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种图像拍摄方法、图像处理方法、拍摄系统进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (21)

1.一种图像拍摄方法,应用于相机阵列中的相机,其特征在于,所述方法包括:
响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
确定所述拍摄图像拍摄时的设备时间;
将所述拍摄图像及所述拍摄图像对应的设备时间发送至电子设备。
2.根据权利要求1所述的图像拍摄方法,其特征在于,所述确定所述拍摄图像拍摄时的设备时间,包括:
接收所述相机阵列中基准相机广播的基准时间信息;
根据所述基准时间信息对所述拍摄图像对应的记录时间进行修正,得到修正后的记录时间;
将所述修正后的记录时间确定为所述拍摄图像对应的设备时间。
3.根据权利要求2所述的图像拍摄方法,其特征在于,所述根据所述基准时间信息对所述拍摄图像对应的记录时间进行修正,得到修正后的记录时间,包括:
获取所述基准时间信息中最新基准时间;
在所述相机保存的记录时间信息中,确定出距离所述最新基准时间最近的第一目标时间;
根据所述最新基准时间和所述第一目标时间确定出所述记录时间对应的时间修正值;
根据所述时间修正值对所述记录时间进行修正,得到所述修正后的记录时间。
4.根据权利要求2所述的图像拍摄方法,其特征在于,所述根据所述基准时间信息对所述拍摄图像对应的记录时间进行修正,得到修正后的记录时间,包括:
获取所述基准时间信息中距离最新基准时间的第一预设个数的第一时间;
在所述相机保存的记录时间信息中,确定出距离最新记录时间的第一预设个数的第二时间;
根据所述第一预设个数的第一时间和所述第一预设个数的第二时间确定出所述记录时间对应的时间修正值;
根据所述时间修正值对所述拍摄图像对应的记录时间进行修正,得到所述修正后的记录时间。
5.根据权利要求4所述的图像拍摄方法,其特征在于,所述根据所述第一预设个数的第一时间和所述第一预设个数的第二时间确定出所述记录时间对应的时间修正值,包括:
在所述第一预设个数的第一时间中确定出位于中位数的目标第一时间;
在所述第一预设个数的第二时间中确定出位于中位数的目标第二时间;
将所述目标第二时间减去所述目标第一时间,得到所述时间修正值。
6.根据权利要求4所述的图像拍摄方法,其特征在于,所述根据所述第一预设个数的第一时间和所述第一预设个数的第二时间确定出所述记录时间对应的时间修正值,包括:
确定所述第一预设个数的第一时间的第一平均值;
确定所述第一预设个数的第二时间的第二平均值;
将所述第二平均值减去所述第一平均值,得到所述时间修正值。
7.根据权利要求1所述的图像拍摄方法,其特征在于,在响应于脉冲控制信号之前,所述方法还包括:
通过有线音频接口接收信号源发送的脉冲控制信号。
8.一种图像处理方法,应用于电子设备,其特征在于,包括:
接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及所述拍摄图像拍摄时的记录时间,其中,所述拍摄图像由不同所述相机响应于同一脉冲控制信号得到;
根据所述拍摄图像和所述记录时间对所述拍摄图像进行预设图像处理。
9.根据权利要求8所述的图像处理方法,其特征在于,所述根据所述拍摄图像和所述记录时间对所述拍摄图像进行预设图像处理,包括:
接收所述相机阵列中基准相机发送的基准时间信息;
根据所述基准时间信息对所述拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间;
根据所述拍摄图像和所述拍摄图像对应的所述修正后的记录时间,对所述拍摄图像进行预设图像处理。
10.根据权利要求9所述的图像处理方法,其特征在于,所述根据所述基准时间信息对所述拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间,包括:
获取所述基准时间信息中最新基准时间;
在已保存的所述相机对应的记录时间信息中,确定出距离所述最新基准时间最近的第二目标时间;
根据所述最新基准时间和所述第二目标时间确定出所述记录时间对应的时间修正量;
根据所述时间修正量对所述记录时间进行修正,得到所述修正后的记录时间。
11.根据权利要求9所述的图像处理方法,其特征在于,所述根据所述基准时间信息对所述拍摄图像拍摄时的记录时间进行修正,得到修正后的记录时间,包括:
获取所述基准时间信息中距离最新基准时间的第二预设个数的第三时间;
在已保存的所述相机对应的记录时间信息中,确定出距离最新记录时间的第二预设个数的第四时间;
根据所述第二预设个数的第三时间和所述第二预设个数的第四时间确定出所述记录时间对应的时间修正量;
根据所述时间修正量对所述记录时间进行修正,得到所述修正后的记录时间。
12.根据权利要求11所述的图像处理方法,其特征在于,所述根据所述第二预设个数的第三时间和所述第二预设个数的第四时间确定出所述记录时间对应的时间修正量,包括:
在所述第二预设个数的第三时间中确定出位于中位数的目标第三时间;
在所述第二预设个数的第四时间中确定出位于中位数的目标第四时间;
将所述目标第四时间减去所述目标第三时间,得到所述时间修正量。
13.根据权利要求11所述的图像处理方法,其特征在于,所述根据所述第二预设个数的第三时间和所述第二预设个数的第四时间确定出所述记录时间对应的时间修正量,包括:
确定所述第二预设个数的第三时间的第三平均值;
确定所述第二预设个数的第四时间的第四平均值;
将所述第四平均值减去所述第三平均值,得到所述时间修正量。
14.根据权利要求8所述的图像处理方法,其特征在于,在接收相机阵列中目标相机对拍摄对象进行拍摄得到的拍摄图像及所述拍摄图像拍摄时的记录时间之前,所述方法还包括:
确定所述相机阵列对应的拍摄频率;
根据所述拍摄频率确定所述脉冲控制信号的频率;
根据所述脉冲控制信号的频率向所述相机阵列中的每一相机同时发射所述脉冲控制信号。
15.一种脉冲控制信号发射方法,应用于信号源,其特征在于,包括:
向相机阵列中的每一相机同时发送脉冲控制信号,所述脉冲控制信号用于控制所述相机阵列中的每一相机同时对拍摄对象进行拍摄。
16.一种拍摄系统,其特征在于,包括:信号源,多个相机组成的相机阵列,电子设备;
其中,所述信号源用于向相机阵列中的每一相机同时发送脉冲控制信号,所述脉冲控制信号用于控制所述相机阵列中的每一相机同时对拍摄对象进行拍摄;
所述相机用于响应所述脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;以及确定所述拍摄图像拍摄时对应的设备时间;以及将所述拍摄图像和所述设备时间发送给所述电子设备;
所述电子设备用于接收所述拍摄图像和所述设备时间。
17.根据权利要求16所述的拍摄系统,其特征在于,所述相机阵列中的多个相机用于对同一拍摄对象拍摄,所述多个相机中的每一所述相机用于对同一拍摄对象的不同角度进行拍摄,以得到多组拍摄图像,其中每组所述拍摄图像的设备时间相同;
所述电子设备用于根据所述多组拍摄图像生成体积视频。
18.一种图像拍摄装置,应用于相机阵列中的相机,其特征在于,所述装置包括:
拍摄模块,用于响应于脉冲控制信号,对拍摄对象进行拍摄,得到拍摄图像;
第一确定模块,用于确定所述拍摄图像拍摄时的设备时间;
发送模块,用于将所述拍摄图像及所述拍摄图像对应的设备时间发送至电子设备。
19.一种图像处理装置,应用于电子设备,其特征在于,包括:
接收模块,用于接收相机阵列中不同相机对拍摄对象进行拍摄得到的拍摄图像及所述拍摄图像拍摄时的记录时间,其中,所述拍摄图像由不同所述相机响应于同一脉冲控制信号得到;
处理模块,用于根据所述拍摄图像和所述记录时间对所述拍摄图像进行预设图像处理。
20.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器、与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,以执行如权利要求1至7任一项所述的图像拍摄方法中的步骤或者如权利要求8至14任一项所述的图像处理方法中的步骤。
21.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如权利要求1至7任一项所述的图像拍摄方法中的步骤或者如权利要求8至14任一项所述的图像处理方法中的步骤。
CN202210944164.4A 2022-08-05 2022-08-05 图像拍摄方法、图像处理方法及拍摄系统 Pending CN115442520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210944164.4A CN115442520A (zh) 2022-08-05 2022-08-05 图像拍摄方法、图像处理方法及拍摄系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210944164.4A CN115442520A (zh) 2022-08-05 2022-08-05 图像拍摄方法、图像处理方法及拍摄系统

Publications (1)

Publication Number Publication Date
CN115442520A true CN115442520A (zh) 2022-12-06

Family

ID=84243138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210944164.4A Pending CN115442520A (zh) 2022-08-05 2022-08-05 图像拍摄方法、图像处理方法及拍摄系统

Country Status (1)

Country Link
CN (1) CN115442520A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210656A (zh) * 2011-03-09 2013-07-17 日立民用电子株式会社 影像发送装置、影像发送方法、影像接收装置以及影像接收方法
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN106210689A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种图像同步采集系统和方法
CN107231533A (zh) * 2017-06-12 2017-10-03 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN114063703A (zh) * 2021-10-12 2022-02-18 奥比中光科技集团股份有限公司 一种数据同步方法、装置、数据处理设备和存储介质
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
CN114666455A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 拍摄控制方法、装置、存储介质及电子装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210656A (zh) * 2011-03-09 2013-07-17 日立民用电子株式会社 影像发送装置、影像发送方法、影像接收装置以及影像接收方法
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN106210689A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种图像同步采集系统和方法
CN107231533A (zh) * 2017-06-12 2017-10-03 深圳市瑞立视多媒体科技有限公司 一种同步曝光方法、装置及终端设备
CN114666455A (zh) * 2020-12-23 2022-06-24 Oppo广东移动通信有限公司 拍摄控制方法、装置、存储介质及电子装置
CN113873345A (zh) * 2021-09-27 2021-12-31 中国电子科技集团公司第二十八研究所 一种分布式的超高清视频同步处理方法
CN114063703A (zh) * 2021-10-12 2022-02-18 奥比中光科技集团股份有限公司 一种数据同步方法、装置、数据处理设备和存储介质
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统

Similar Documents

Publication Publication Date Title
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US20190244050A1 (en) Method, device and storage medium for determining camera posture information
US20180150148A1 (en) Handheld interactive device and projection interaction method therefor
CN105141853B (zh) 图像处理方法以及电子设备
JP2019012534A (ja) 反応型映像生成方法及び生成プログラム
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN109314775A (zh) 用于增强深度相机系统的信噪比性能的系统和方法
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
US9912846B2 (en) Obtaining calibration data of a camera
US9921054B2 (en) Shooting method for three dimensional modeling and electronic device supporting the same
CN114449162B (zh) 一种播放全景视频的方法、装置、计算机设备及存储介质
CN111724412A (zh) 确定运动轨迹的方法、装置及计算机存储介质
CN115442658B (zh) 直播方法、装置、存储介质、电子设备及产品
CN111589138B (zh) 动作预测方法、装置、设备及存储介质
CN116129526A (zh) 合拍控制方法、装置、电子设备及存储介质
US9261974B2 (en) Apparatus and method for processing sensory effect of image data
CN115294213A (zh) 标定塔、相机标定方法、装置、电子设备及存储介质
WO2019218878A1 (zh) 拍照修复方法以及装置、存储介质及终端设备
CN115442520A (zh) 图像拍摄方法、图像处理方法及拍摄系统
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
CN117689826A (zh) 三维模型构建和渲染方法、装置、设备以及介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
CN117131225A (zh) 视频处理方法、装置、电子设备及存储介质
CN113890992A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221206