CN107396068A - 全景视频同步拼接系统、方法及全景视频显示装置 - Google Patents
全景视频同步拼接系统、方法及全景视频显示装置 Download PDFInfo
- Publication number
- CN107396068A CN107396068A CN201710764095.8A CN201710764095A CN107396068A CN 107396068 A CN107396068 A CN 107396068A CN 201710764095 A CN201710764095 A CN 201710764095A CN 107396068 A CN107396068 A CN 107396068A
- Authority
- CN
- China
- Prior art keywords
- video
- camera
- frame
- adjacent
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种视频采集模块全景视频同步拼接系统、方法及全景视频显示装置，其中系统包括：视频采集模块、数据传输模块和图像拼接处理器；所述视频采集模块通过数据传输模块与图像拼接处理器连接；所述视频采集模块包括多个摄像头，其中，各个所述摄像头以预设顺序设置在同一平面上，相邻两个摄像头的角度满足拍摄视频图像的范围存在重合区域，且各个摄像头组合拍摄全景视频图像。上述方案，图像处理器通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种全景视频同步拼接系统、方法及全景视频显示装置。
背景技术
全景视频可以达到拍摄角度360度的视频显示效果，全景视频的实现一般采用视频拼接技术，例如利用多个摄像头对场景进行视频采集，然后将多个摄像头采集的视频进行实时拼接形成全景视频。
传统的基于多摄像头的全景视频拼接系统，一般需要通过图像处理方法消除不同摄像头采集视频的亮度和对比度差异以及通过图像处理方法消除相邻图像重合区域的变化因素，然后计算每帧相邻图片的最优单应性矩阵，再根据最优的单应性矩阵完成后继视频帧的拼接。
但这种多摄像头全景视频拼接系统，需要进行大量的图像处理算法，导致处理过程繁琐，增大了设备运算负荷，降低设备运行速度，影响拼接处理效率。
发明内容
基于此，有必要针对传统多摄像头全景视频拼接系统拼接效率低的问题，提供一种全景视频同步拼接系统、方法及全景视频显示装置。
一种全景视频同步拼接系统，包括：视频采集模块、数据传输模块和图像拼接处理器；
所述视频采集模块通过数据传输模块与图像拼接处理器连接；所述视频采集模块包括多个摄像头，其中，各个所述摄像头以预设顺序设置在同一平面上，相邻两个摄像头的角度满足拍摄视频图像的范围存在重合区域，且各个摄像头组合拍摄全景视频图像；
各个所述摄像头分别拍摄视频图像得到多路视频数据，通过所述数据传输模块传输至图像拼接处理器；
所述图像拼接处理器根据所述预设顺序分别识别所述多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
上述全景视频同步拼接系统，视频采集模块、数据传输模块与图像拼接处理器依次串联连接，所述图像拼接处理器输出端与显示平台连接；视频采集模块采集的多路视频帧数据实时通过数据传输模块传输给图像拼接处理器，图像拼接处理器对视频帧进行实时拼接获得全景视频帧传输给显示平台，显示平台显示接收的全景视频帧图像，从而实现全景实时拼接显示的效果；由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
一种基于上述任一项所述的全景视频同步拼接系统的全景视频同步拼接方法，包括如下步骤：
视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器；
图像拼接处理器根据所述摄像头的预设顺序识别多路视频帧数据中相邻两路的视频帧图像，获取相邻两路视频帧图像的重合区域；
图像拼接处理器根据所述重合区域对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
上述全景视频同步拼接方法，由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
一种全景视频显示装置，包括如上任一项所述的全景视频同步拼接系统以及显示平台，其中，所述显示平台连接所述图像拼接处理器输出端。
上述全景视频显示装置，视频采集模块、数据传输模块与图像拼接处理器依次串联连接，所述图像拼接处理器输出端与显示平台连接；视频采集模块采集的多路视频帧数据实时通过数据传输模块传输给图像拼接处理器，图像拼接处理器对视频帧进行实时拼接获得全景视频帧传输给显示平台，显示平台显示接收的全景视频帧图像，从而实现全景实时拼接显示的效果；由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
附图说明
图1为全景视频同步拼接系统结构示意图；
图2为一个实施例的视频采集模块装置结构示意图；
图3为一个实施例的全景视频同步拼接系统结构示意图；
图4为全景视频同步拼接方法流程图；
图5为一个实施例的全景视频同步拼接方法时序图。
具体实施方式
下面结合附图对本发明的全景视频同步拼接系统、方法及全景视频显示装置的具体实施方式作详细的描述。
参考图1所示，图1为全景视频同步拼接系统结构示意图，所述全景视频同步拼接系统包括：视频采集模块、数据传输模块和图像拼接处理器；
所述视频采集模块通过数据传输模块与图像拼接处理器连接；所述视频采集模块包括多个摄像头，其中，各个所述摄像头以预设顺序设置在同一平面上，相邻两个摄像头的角度满足拍摄视频图像的范围存在重合区域，且各个摄像头组合拍摄全景视频图像；
各个所述摄像头分别拍摄视频图像得到多路视频数据，通过所述数据传输模块传输至图像拼接处理器；
所述图像拼接处理器根据所述预设顺序分别识别所述多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
其中，所述视频采集模块包括至少两个摄像头，所述数据传输模块包括至少两路数据传输线路，每个摄像头均通过数据传输模块中的一路数据传输线路将采集的视频帧数据实时传输至图像拼接处理器，图像拼接处理器对接收的视频帧进行拼接，将获得的全景视频帧图像传输给显示平台，显示平台实时显示接收的全景视频帧，即达到全景视频实时拼接的目的。
上述全景视频同步拼接系统，视频采集模块、数据传输模块与图像拼接处理器依次串联连接，所述图像拼接处理器输出端与显示平台连接；视频采集模块采集的多路视频帧数据实时通过数据传输模块传输给图像拼接处理器，图像拼接处理器对视频帧进行实时拼接获得全景视频帧传输给显示平台，显示平台显示接收的全景视频帧图像，从而实现全景实时拼接显示的效果；由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
在一个可选的实施例中，所述视频采集模块中的多个摄像头固定在同一平面上的不同位置，且该位置满足相邻两个摄像头的采集角度范围存在重合采集角度，且所有摄像头采集角度范围的总和至少覆盖所述平面的360度范围；
在一个可选的实施例中，所述图像拼接处理器根据所述预设顺序对所述多路视频帧数据中相邻两路的视频帧图像进行面积匹配，获取相邻两路视频帧图像的重合区域，根据所述重合区域对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
其中，上述视频采集模块中的多个摄像头所在的平面可以是任意平面，可以根据实际需要采集的场景确定摄像头所在平面的角度，比如水平面或与水平面呈任意角度的平面；多个摄像头的位置可以是在该平面一个圆形上均匀分布的角度位置上固定设置，相邻两个摄像头与该圆形圆心连线之间的夹角可以相同；多个摄像头的数目可以根据实际需要确定，只要满足所有摄像头采集角度范围的总和覆盖所述平面的360度范围即可，比如，根据使用的摄像头的采集角度范围来确定需要的摄像头数目，如果使用的摄像头的采集角度范围较大，比如广角摄像头，则可以使用较少数目的摄像头即可达到全景采集的目的，使用的摄像头越少，需要拼接的相邻摄像头组数越少，拼接速率也会越高。
上述实施例，由于多个摄像头固定于同一平面，相邻两个摄像头采集角度范围存在重合区域，且所有摄像头采集角度范围总和覆盖所述平面的360度范围，能够实现整个平面360度采集角度的全景采集，且由于摄像头位置固定，相邻摄像头采集重合区域固定，在图像处理器对相邻视频帧图像进行拼接时能够采用简单的图像匹配确定参考重合区域，根据该参考重合区域对相邻视频帧进行拼接，获得全景视频帧，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
参考图2所示，图2为一个实施例的视频采集模块装置结构示意图，在一个可选的实施例中，所述视频采集模块包括四个摄像头，其中，每个摄像头的采集角度大于90度。
上述实施例，视频采集模块包括四个摄像头，这四个摄像头可以均匀固定分布在同一平面一个圆形上不同角度位置上，且相邻两个摄像头与该圆形圆心连线之间的夹角均为90度，由于每个摄像头的采集角度大于90度，四个摄像头采集角度范围的总和覆盖所述平面的360度范围，四个摄像头在采集视频时能够采集到360度角度的视野范围内的被摄物体，即能够实现全景采集的效果。
由于视频传输时存在网络拥塞，会导致多路视频传输时出现网络时延进而使得通过数据传输模块传输至图像拼接处理器的多路视频帧并非同一时刻采集的视频帧，这会导致相邻两路用于拼接的视频帧之间由于环境变化而产生的亮度、对比度以及重合区域的图像数据差异较大，如果通过图像处理方法消除亮度、对比度以及重合区域的图像数据差异，会使得图像处理运算过程繁琐，增加了设备运算负荷，图像拼接效率低下，为了消除传输时延带来的影响，考虑引入一个计时时钟装置，对拼接的视频帧进行时间同步。
参考图3，图3为一个实施例的全景视频同步拼接系统结构示意图，在一个可选的实施例中，所述全景视频同步拼接系统还包括：
计时时钟装置，所述计时时钟装置的输出端连接所述视频采集模块中各个摄像头的信号输入端；
所述计时时钟装置用于每隔设定时间间隔产生一次计数作为时间标志，将所述当前时间标志实时传输给视频采集模块；
所述视频采集模块用于在每次成像时均获取当前的时间标志，将所述时间标志存储到当前成像的视频帧数据中；其中，所述图像拼接模块用于读取接收的视频帧的时间标志信息，将具有相同时间标志的图像进行拼接。
上述技术方案，系统启动后，计时模块开始工作，定时产生一次计数作为摄像头获取的时间标志信息。计数的频率可根据摄像头每秒需要采集的帧数来考量，计数频率越高，计数的精度就越高，达到的时间同步的效果越好，相应的运算处理会越复杂，占用的运算资源会增大，一般来说每秒计数的频率可以设置为大于或等于摄像头每秒采集帧的频率。例如：摄像头每秒需采集10帧视频信息，则可定时设置为每100毫秒产生一次计数作为时间标志，因此在这100毫秒内各个摄像头所采集到的该帧的图片具有相同的时间标志，可视为同一时刻的图片。
启动视频采集时，视频采集模块中各个摄像头可以在成像时开始对图像进行编码时将获取此时的时间标志作为每帧图片的头部信息，以便在图像拼接时选出具有相同时间标志的视频帧进行拼接。
上述实施例的技术方案，通过在每帧视频帧中加入时间标志信息，选出时间标志相同的视频帧进行拼接，消除了由于网络时延进导致传输视频帧不同步带来的影响；由于同一时间标志的图片为同一时刻所采集，因此采集时场景环境一致，相邻视频帧的亮度、对比度、图像信息差异很小，无需再通过一系列图像处理方法去消除相邻视频帧的亮度对比度等差异，仅采用面积匹配，直接把图片上的各点灰度差进行累计，即可得出相邻视频帧的重合区域，对相邻视频帧进行拼接，省略了运算步骤，提高了视频拼接效率。
在一个可选的实施例中，所述全景视频同步拼接系统还包括：摄像头编号存储单元，所述摄像头编号存储单元连接所述视频采集模块中的各个摄像头的信号输入端；
所述摄像头编号存储单元用于存储各摄像头的编号信息，所述视频采集模块中的各个摄像头用于在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中；
其中，所述图像拼接模块用于读取接收的视频帧的摄像头编号，按照所述摄像头编号确定相邻摄像头的视频帧图像进行拼接。
上述技术方案，通过对摄像头依次进行编号并将摄像头编号存储在摄像头编号存储单元中，视频采集模块中的各个摄像头在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中，例如，多路视频采集模块中各个摄像头可以在成像时开始对图像进行编码时将获取此时的时间标志及摄像头序号作为每帧图片的头部信息，以便在图像拼接时作为同步与拼接的顺序标志。当图像拼接处理器接收到视频帧时将图片的头部信息提取出来，进行分析比对，图像拼接处理器不需要去一一比对每两帧视频帧的重叠区域去确定相邻的视频帧，只需根据摄像头编号即可快速确定相邻视频帧，对相邻视频帧进行拼接，简化了运算过程，提升了运算速率，提高了视频拼接效率。
综合上述各个实施例的技术方案，上述全景视频同步拼接系统，视频采集模块采集的多路视频帧数据实时通过数据传输模块传输给图像拼接处理器，图像拼接处理器对视频帧进行实时拼接获得全景视频帧传输给显示平台，显示平台显示接收的全景视频帧图像，从而实现全景实时拼接显示的效果；由于视频采集模块中的多个摄像头固定于同一平面，相邻两个摄像头采集角度范围存在重合区域，且所有摄像头采集角度范围总和覆盖所述平面的360度范围，能够实现整个平面360度采集角度的全景采集；通过对摄像头依次进行编号并将摄像头编号存储在摄像头编号存储单元中，视频采集模块中的各个摄像头在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中，当图像拼接处理器接收到视频帧时，只需根据摄像头编号即可快速确定相邻视频帧，通过在每帧视频帧中加入时间标志信息，选出时间标志相同的视频帧进行拼接，消除了由于网络时延进导致传输视频帧不同步带来的影响，无需再通过一系列图像处理方法去消除相邻视频帧的亮度对比度等差异，且由于摄像头位置固定，相邻摄像头采集重合区域固定，在图像处理器对相邻视频帧图像进行拼接时能够采用简单的图像匹配确定重合区域，根据该重合区域对相邻视频帧进行拼接，获得全景视频帧，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
参考图4，图4为全景视频同步拼接方法流程图，基于上述任一项所述的全景视频同步拼接系统的全景视频同步拼接方法，包括如下步骤：
S101，视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器。
上述步骤中，所述视频采集模块中的多个摄像头将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器，以便图像拼接处理器对接收的视频帧进行拼接。
S102，图像拼接处理器根据所述摄像头的预设顺序识别多路视频帧数据中相邻两路的视频帧图像，获取相邻两路视频帧图像的重合区域。
上述步骤中，图像拼接处理器无需通过图像处理方法去一一比对每两帧视频帧的重叠区域去确定相邻的视频帧，只需根据摄像头预设顺序编号即可快速确定相邻视频帧，对相邻视频帧进行拼接，简化了运算过程，提升了运算速率，提高了视频拼接效率。
在一个可选的实施例中，提供了一种全景视频同步拼接方法，参见图5，图5为一个实施例的全景视频同步拼接方法时序图，本实施例以该方法应用于上述任一项所述的全景视频同步拼接系统来举例说明，该方法包括如下步骤：
S501，视频采集模块对被摄物体进行实时采集，获取多路视频帧数据。
S502，视频采集模块将采集到的多路视频帧数据实时发送给数据传输模块。
S503，数据传输模块将接收的多路视频帧数据传输给图像拼接处理器。
S504，图像拼接处理器对接收的多路视频帧数据进行实时的拼接处理，获得拼接的全景视频帧图像。
在一个可选的实施例中，所述获取相邻两路视频帧图像的重合区域，包括如下步骤：
图像拼接处理器对所述相邻两路的两帧视频帧图像进行面积匹配，获得相邻两路的两帧视频帧图像的重合区域；
图像拼接处理器对初始n组相邻两路的两帧视频帧的重合区域取平均，求得平均的重合区域，其中，n≥1。上述实施例，由于各路摄像头位置固定，形成图片的重叠区域和范围是相同的，因此，图像拼接处理器在进行初始数组相邻视频帧的面积匹配后，取出平均的重合区域作为后续该相邻两路的视频帧图像拼接的重合区域，后续的相邻视频帧可以直接按照该重合区域进行拼接而无需再做面积匹配识别相邻视频帧的重叠区域，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
在一个可选的实施例中，所述图像拼接处理器对所述相邻两路的两帧视频帧图像进行面积匹配包括：
图像拼接处理器对所述相邻两路的两帧视频帧图像上的各点灰度差进行累计；和/或
图像拼接处理器比较所述相邻两路的两帧视频帧图像对应各点灰度差相对于灰度和的大小。上述实施例，给出了面积匹配可选的实施方式，一般的图像处理确定相邻图像视频帧的重合区域时，常常用到单应性矩阵进行求解，然而单应性矩阵的求解过程首先需要对图像进行预处理、特征提取、特征匹配以及求解最优单应性矩阵，过程比较繁琐复杂，同时对于场景的特征提取往往比较困难，不容易实现。而本实施例的面积匹配直接将图像上的各点灰度差进行累计和/或比较图像对应各点灰度差相对于灰度和的大小，运算简单，适用于相邻视频帧重合区域固定、对比度和/或亮度差距小的拼接，运算效率高，能够提升视频拼接的速率。
S103，图像拼接处理器根据所述重合区域对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
上述步骤中，图像拼接处理器直接根据前述步骤获得的重合区域作为后续相邻两路的视频帧的重合区域，进行图像拼接，获得全景视频帧图像。
上述全景视频同步拼接方法，由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。由于视频传输时存在网络拥塞，会导致多路视频传输时出现网络时延进而使得通过数据传输模块传输至图像拼接处理器的多路视频帧并非同一时刻采集的视频帧，这会导致相邻两路用于拼接的视频帧之间由于环境变化而产生的亮度、对比度以及重合区域的图像数据差异较大，如果通过图像处理方法消除亮度、对比度以及重合区域的图像数据差异，会使得图像处理运算过程繁琐，增加了设备运算负荷，图像拼接效率低下，为了消除传输时延带来的影响，考虑通过计时时钟装置对拼接的视频帧进行时间同步。
在一个可选的实施例中，在所述视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器的步骤之前，还包括步骤：
计时时钟装置每隔设定时间间隔，产生一次计数作为时间标志；
视频采集模块中的各个摄像头在每次成像时均获取当前的时间标志，将当前的时间标志存储到当前成像的视频帧数据中；
其中，所述相邻两路的视频帧图像为相邻两路具有相同时间标志的视频帧图像。
上述技术方案，系统启动后，计时模块开始工作，定时产生一次计数作为摄像头获取的时间标志信息。计数的频率可根据摄像头每秒需要采集的帧数来考量，计数频率越高，计数的精度就越高，达到的时间同步的效果越高，相应的运算处理会越复杂，占用的运算资源会增大，一般来说每秒计数的频率可以设置为大于或等于摄像头每秒采集帧的频率。例如：摄像头每秒需采集10帧视频信息，则可定时设置为每100毫秒产生一次计数作为时间标志，因此在这100毫秒内各个摄像头所采集到的该帧的图片具有相同的时间标志，可视为同一时刻的图片。
启动视频采集时，多路视频采集模块中各个摄像头可以在成像时开始对图像进行编码时将获取此时的时间标志作为每帧图片的头部信息，以便在图像拼接时选出具有相同时间标志的视频帧进行拼接。
上述实施例的技术方案，通过在每帧视频帧中加入时间标志信息，选出时间标志相同的视频帧进行拼接，消除了由于网络时延进导致传输视频帧不同步带来的影响；由于同一时间标志的图片为同一时刻所采集，因此采集时场景环境一致，相邻视频帧的亮度、对比度、图像信息差异很小，无需再通过一系列图像处理方法去消除相邻视频帧的亮度对比度等差异，仅采用面积匹配，直接把图片上的各点灰度差进行累计，即可得出相邻视频帧的重合区域，对相邻视频帧进行拼接，省略了运算步骤，提高了视频拼接效率。
在一个可选的实施例中，在所述视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器的步骤之前，还包括步骤：
视频采集模块中的各个摄像头在采集视频时，从摄像头编号存储单元获取各摄像头编号，将对应的各摄像头编号存储到当前成像的视频帧数据中；
其中，所述相邻两路的视频帧图像根据所述摄像头编号识别。
上述技术方案，通过对摄像头依次进行编号并将摄像头编号存储在摄像头编号存储单元中，视频采集模块中的各个摄像头在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中，例如，多路视频采集模块中各个摄像头可以在成像时开始对图像进行编码时将获取此时的时间标志及摄像头序号作为每帧图片的头部信息，以便在图像拼接时作为同步与拼接的顺序标志。当图像拼接处理器接收到视频帧时将图片的头部信息提取出来，进行分析比对，图像拼接处理器不需要去一一比对每两帧视频帧的重叠区域去确定相邻的视频帧，只需根据摄像头编号即可快速确定相邻视频帧，对相邻视频帧进行拼接，简化了运算过程，提升了运算速率，提高了视频拼接效率。
综合上述各个实施例的技术方案，上述全景视频同步拼接方法，通过对摄像头依次进行编号并将摄像头编号存储在摄像头编号存储单元中，视频采集模块中的各个摄像头在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中，当图像拼接处理器接收到视频帧时，只需根据摄像头编号即可快速确定相邻视频帧，通过在每帧视频帧中加入时间标志信息，选出时间标志相同的视频帧进行拼接，消除了由于网络时延进导致传输视频帧不同步带来的影响，无需再通过一系列图像处理方法去消除相邻视频帧的亮度对比度等差异，且由于摄像头位置固定，相邻摄像头采集重合区域固定，在图像处理器对相邻视频帧图像进行拼接时能够采用简单的图像匹配，将相邻两路的两帧视频帧图像上的各点灰度差进行累计和/或比较相邻两路的两帧视频帧图像对应各点灰度差相对于灰度和的大小来确定重合区域，根据该重合区域对相邻视频帧进行拼接，获得全景视频帧，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
一种全景视频显示装置，参考图3，所述全景视频显示装置包括如上任一项所述的全景视频同步拼接系统以及显示平台，其中，所述显示平台连接所述图像拼接处理器输出端。
上述全景视频显示装置，视频采集模块、数据传输模块与图像拼接处理器依次串联连接，所述图像拼接处理器输出端与显示平台连接；视频采集模块采集的多路视频帧数据实时通过数据传输模块传输给图像拼接处理器，图像拼接处理器对视频帧进行实时拼接获得全景视频帧传输给显示平台，显示平台显示接收的全景视频帧图像，从而实现全景实时拼接显示的效果；由于各个所述摄像头以预设顺序设置于同一平面，相邻两个摄像头采集角度范围存在重合区域，图像处理器能够通过预设的摄像头顺序快速确定多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像，简化了图像拼接的运算过程，减轻设备运算负荷，提高了视频拼接效率。
本发明的全景视频同步拼接系统与本发明的全景视频同步拼接方法一一对应，在上述全景视频同步拼接方法的实施例阐述的技术特征及其有益效果均适用于全景视频同步拼接系统的实施例中，特此声明。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种全景视频同步拼接系统，其特征在于，包括：视频采集模块、数据传输模块和图像拼接处理器；
所述视频采集模块通过数据传输模块与图像拼接处理器连接；所述视频采集模块包括多个摄像头，其中，各个所述摄像头以预设顺序设置在同一平面上，相邻两个摄像头的角度满足拍摄视频图像的范围存在重合区域，且各个摄像头组合拍摄全景视频图像；
各个所述摄像头分别拍摄视频图像得到多路视频数据，通过所述数据传输模块传输至图像拼接处理器；
所述图像拼接处理器根据所述预设顺序分别识别所述多路视频帧数据中相邻两路的视频帧图像的重合区域，根据所述重合区域依次对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
2.根据权利要求1所述的全景视频同步拼接系统，其特征在于，所述视频采集模块中的多个摄像头固定在同一平面上的不同位置，且该位置满足相邻两个摄像头的采集角度范围存在重合采集角度，且所有摄像头采集角度范围的总和至少覆盖所述平面的360度范围；
所述图像拼接处理器根据所述预设顺序对所述多路视频帧数据中相邻两路的视频帧图像进行面积匹配，获取相邻两路视频帧图像的重合区域，根据所述重合区域对相邻两路的视频帧进行图像拼接，获得全景视频帧图像；
所述视频采集模块包括四个摄像头，其中，每个摄像头的采集角度大于90度。
3.根据权利要求1所述的全景视频同步拼接系统，其特征在于，还包括：计时时钟装置，所述计时时钟装置的输出端连接所述视频采集模块中各个摄像头的信号输入端；
所述计时时钟装置用于每隔设定时间间隔产生一次计数作为时间标志，将所述当前时间标志实时传输给视频采集模块；
所述视频采集模块用于在每次成像时均获取当前的时间标志，将所述时间标志存储到当前成像的视频帧数据中；
其中，所述图像拼接模块用于读取接收的视频帧的时间标志信息，将具有相同时间标志的图像进行拼接。
4.根据权利要求1所述的全景视频同步拼接系统，其特征在于，还包括：摄像头编号存储单元，所述摄像头编号存储单元连接所述视频采集模块中各个摄像头的信号输入端；
所述摄像头编号存储单元用于存储各摄像头的编号信息，所述视频采集模块中的各个摄像头用于在每次成像时均将获取的摄像头编号存储到当前成像的视频帧数据中；
其中，所述图像拼接模块用于读取接收的视频帧的摄像头编号，按照所述摄像头编号确定相邻摄像头的视频帧图像进行拼接。
5.一种基于权利要求1至4任一项所述的全景视频同步拼接系统的全景视频同步拼接方法，其特征在于，包括如下步骤：
视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器；
图像拼接处理器根据所述摄像头的预设顺序识别多路视频帧数据中相邻两路的视频帧图像，获取相邻两路视频帧图像的重合区域；
图像拼接处理器根据所述重合区域对相邻两路的视频帧进行图像拼接，获得全景视频帧图像。
6.根据权利要求5所述的全景视频同步拼接方法，其特征在于，在所述视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器的步骤之前，还包括步骤：
计时时钟装置每隔设定时间间隔，产生一次计数作为时间标志；
视频采集模块中的各个摄像头在每次成像时均获取当前的时间标志，将当前的时间标志存储到当前成像的视频帧数据中；
其中，所述相邻两路的视频帧图像为相邻两路具有相同时间标志的视频帧图像。
7.根据权利要求5所述的全景视频同步拼接方法，其特征在于，在所述视频采集模块将采集的多路视频帧数据通过数据传输模块传输至图像拼接处理器的步骤之前，还包括步骤：
视频采集模块中的各个摄像头在采集视频时，从摄像头编号存储单元获取各摄像头编号，将对应的各摄像头编号存储到当前成像的视频帧数据中；
其中，所述相邻两路的视频帧图像根据所述摄像头编号识别。
8.根据权利要求5所述的全景视频同步拼接方法，其特征在于，所述获取相邻两路视频帧图像的重合区域，包括如下步骤：
图像拼接处理器对所述相邻两路的两帧视频帧图像进行面积匹配，获得相邻两路的两帧视频帧图像的重合区域；
图像拼接处理器对初始n组相邻两路的两帧视频帧的重合区域取平均，求得平均的重合区域，其中，n≥1。
9.根据权利要求8所述的全景视频同步拼接方法，其特征在于，所述图像拼接处理器对所述相邻两路的两帧视频帧图像进行面积匹配包括：
图像拼接处理器对所述相邻两路的两帧视频帧图像上的各点灰度差进行累计；和/或
图像拼接处理器比较所述相邻两路的两帧视频帧图像对应各点灰度差相对于灰度和的大小。
10.一种全景视频显示装置，其特征在于，包括如权利要求1至4任一项所述的全景视频同步拼接系统以及显示平台，其中，所述显示平台连接所述图像拼接处理器输出端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710764095.8A CN107396068A (zh) | 2017-08-30 | 2017-08-30 | 全景视频同步拼接系统、方法及全景视频显示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710764095.8A CN107396068A (zh) | 2017-08-30 | 2017-08-30 | 全景视频同步拼接系统、方法及全景视频显示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107396068A true CN107396068A (zh) | 2017-11-24 |
Family
ID=60348658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710764095.8A Pending CN107396068A (zh) | 2017-08-30 | 2017-08-30 | 全景视频同步拼接系统、方法及全景视频显示装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107396068A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259843A (zh) * | 2018-03-29 | 2018-07-06 | 包云清 | 即时拍摄图像现场识别平台 |
| CN108769606A (zh) * | 2018-06-14 | 2018-11-06 | 鹤壁北岩科技有限公司 | 基于环控器鸡舍镜头全景同步平台及同步方法 |
| CN108933899A (zh) * | 2018-08-22 | 2018-12-04 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置、终端及计算机可读存储介质 |
| CN109561280A (zh) * | 2018-10-29 | 2019-04-02 | 黑龙江科技大学 | 一种有限带宽的拼接全景数据双模式传输方法及装置 |
| CN109600547A (zh) * | 2018-11-30 | 2019-04-09 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备和存储介质 |
| CN109600584A (zh) * | 2018-12-11 | 2019-04-09 | 中联重科股份有限公司 | 观察塔机的方法和装置、塔机及机器可读存储介质 |
| CN110209155A (zh) * | 2019-04-09 | 2019-09-06 | 丰疆智能科技股份有限公司 | 用于农割作业机器的图像采集装置及其处理方法 |
| CN110769227A (zh) * | 2019-02-27 | 2020-02-07 | 成都极米科技股份有限公司 | 超短焦投影机的对焦方法、对焦装置及可读存储介质 |
| CN111147742A (zh) * | 2019-12-29 | 2020-05-12 | 张美燕 | 360度拍照方法、装置和计算机设备 |
| CN111741259A (zh) * | 2020-06-11 | 2020-10-02 | 北京三快在线科技有限公司 | 无人驾驶设备的控制方法及装置 |
| CN112291483A (zh) * | 2020-10-29 | 2021-01-29 | 京东方科技集团股份有限公司 | 视频推送方法及系统、电子设备及可读存储介质 |
| CN112738425A (zh) * | 2019-10-28 | 2021-04-30 | 天津工业大学 | 一种多摄像头采集的视频实时拼接系统 |
| CN112819696A (zh) * | 2021-01-29 | 2021-05-18 | 青岛海信移动通信技术股份有限公司 | 电子设备及其图像处理方法 |
| CN113206983A (zh) * | 2021-04-28 | 2021-08-03 | 广州海事科技有限公司 | 全方位眼阵监控方法、系统、计算机设备及存储介质 |
| CN114286016A (zh) * | 2020-09-28 | 2022-04-05 | 青岛千眼飞凤信息技术有限公司 | 图像获取装置以及图像获取系统 |
| CN114331843A (zh) * | 2021-12-28 | 2022-04-12 | 苏州思卡信息系统有限公司 | 一种基于灰度直方图的图像拼接方法 |
| CN114500971A (zh) * | 2022-02-12 | 2022-05-13 | 北京蜂巢世纪科技有限公司 | 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质 |
| CN114664040A (zh) * | 2022-03-24 | 2022-06-24 | 广州海格通信集团股份有限公司 | 安保系统及安保设备 |
| CN114827491A (zh) * | 2022-04-18 | 2022-07-29 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
| CN117499601A (zh) * | 2024-01-02 | 2024-02-02 | 上海励驰半导体有限公司 | 用于SoC的调用多摄像头数据的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
| US20140300692A1 (en) * | 2008-10-16 | 2014-10-09 | Peter Lablans | Controller in a camera for creating a registered video image |
| CN104184961A (zh) * | 2013-05-22 | 2014-12-03 | 辉达公司 | 用于生成全景视频的移动设备和系统 |
| CN105791688A (zh) * | 2016-03-04 | 2016-07-20 | 海信电子科技（深圳）有限公司 | 移动终端及成像方法 |
| US20160277680A1 (en) * | 2014-06-19 | 2016-09-22 | Omnivision Technologies, Inc. | 360 Degree Multi-Camera System |
| CN107094236A (zh) * | 2017-05-19 | 2017-08-25 | 努比亚技术有限公司 | 全景拍摄方法、移动终端及计算机可读存储介质 |
-
2017
- 2017-08-30 CN CN201710764095.8A patent/CN107396068A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| US20140300692A1 (en) * | 2008-10-16 | 2014-10-09 | Peter Lablans | Controller in a camera for creating a registered video image |
| CN104184961A (zh) * | 2013-05-22 | 2014-12-03 | 辉达公司 | 用于生成全景视频的移动设备和系统 |
| CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
| US20160277680A1 (en) * | 2014-06-19 | 2016-09-22 | Omnivision Technologies, Inc. | 360 Degree Multi-Camera System |
| CN105791688A (zh) * | 2016-03-04 | 2016-07-20 | 海信电子科技（深圳）有限公司 | 移动终端及成像方法 |
| CN107094236A (zh) * | 2017-05-19 | 2017-08-25 | 努比亚技术有限公司 | 全景拍摄方法、移动终端及计算机可读存储介质 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259843A (zh) * | 2018-03-29 | 2018-07-06 | 包云清 | 即时拍摄图像现场识别平台 |
| CN108259843B (zh) * | 2018-03-29 | 2018-10-26 | 青岛启弘信息科技有限公司 | 即时拍摄图像现场识别平台 |
| CN108769606A (zh) * | 2018-06-14 | 2018-11-06 | 鹤壁北岩科技有限公司 | 基于环控器鸡舍镜头全景同步平台及同步方法 |
| WO2020038110A1 (zh) * | 2018-08-22 | 2020-02-27 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置、终端及计算机可读存储介质 |
| CN108933899A (zh) * | 2018-08-22 | 2018-12-04 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置、终端及计算机可读存储介质 |
| CN109561280A (zh) * | 2018-10-29 | 2019-04-02 | 黑龙江科技大学 | 一种有限带宽的拼接全景数据双模式传输方法及装置 |
| CN109600547A (zh) * | 2018-11-30 | 2019-04-09 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备和存储介质 |
| CN109600547B (zh) * | 2018-11-30 | 2021-01-12 | Oppo广东移动通信有限公司 | 拍照方法、装置、电子设备和存储介质 |
| CN109600584A (zh) * | 2018-12-11 | 2019-04-09 | 中联重科股份有限公司 | 观察塔机的方法和装置、塔机及机器可读存储介质 |
| CN110769227A (zh) * | 2019-02-27 | 2020-02-07 | 成都极米科技股份有限公司 | 超短焦投影机的对焦方法、对焦装置及可读存储介质 |
| CN110209155A (zh) * | 2019-04-09 | 2019-09-06 | 丰疆智能科技股份有限公司 | 用于农割作业机器的图像采集装置及其处理方法 |
| CN112738425A (zh) * | 2019-10-28 | 2021-04-30 | 天津工业大学 | 一种多摄像头采集的视频实时拼接系统 |
| CN111147742A (zh) * | 2019-12-29 | 2020-05-12 | 张美燕 | 360度拍照方法、装置和计算机设备 |
| CN111147742B (zh) * | 2019-12-29 | 2020-07-14 | 张美燕 | 360度拍照方法、装置、计算机设备和存储介质 |
| CN111741259A (zh) * | 2020-06-11 | 2020-10-02 | 北京三快在线科技有限公司 | 无人驾驶设备的控制方法及装置 |
| CN114286016A (zh) * | 2020-09-28 | 2022-04-05 | 青岛千眼飞凤信息技术有限公司 | 图像获取装置以及图像获取系统 |
| CN112291483A (zh) * | 2020-10-29 | 2021-01-29 | 京东方科技集团股份有限公司 | 视频推送方法及系统、电子设备及可读存储介质 |
| CN112819696A (zh) * | 2021-01-29 | 2021-05-18 | 青岛海信移动通信技术股份有限公司 | 电子设备及其图像处理方法 |
| CN113206983A (zh) * | 2021-04-28 | 2021-08-03 | 广州海事科技有限公司 | 全方位眼阵监控方法、系统、计算机设备及存储介质 |
| CN114331843A (zh) * | 2021-12-28 | 2022-04-12 | 苏州思卡信息系统有限公司 | 一种基于灰度直方图的图像拼接方法 |
| CN114331843B (zh) * | 2021-12-28 | 2022-10-04 | 苏州思卡信息系统有限公司 | 一种基于灰度直方图的图像拼接方法 |
| CN114500971A (zh) * | 2022-02-12 | 2022-05-13 | 北京蜂巢世纪科技有限公司 | 基于数据共享的场馆3d全景视频生成方法、装置、头戴式显示设备和介质 |
| CN114664040A (zh) * | 2022-03-24 | 2022-06-24 | 广州海格通信集团股份有限公司 | 安保系统及安保设备 |
| CN114827491A (zh) * | 2022-04-18 | 2022-07-29 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
| CN114827491B (zh) * | 2022-04-18 | 2023-02-14 | 鹰驾科技（深圳）有限公司 | 一种无线传输全景环视拼接技术 |
| CN117499601A (zh) * | 2024-01-02 | 2024-02-02 | 上海励驰半导体有限公司 | 用于SoC的调用多摄像头数据的方法 |
| CN117499601B (zh) * | 2024-01-02 | 2024-04-05 | 上海励驰半导体有限公司 | 用于SoC的调用多摄像头数据的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107396068A (zh) | 全景视频同步拼接系统、方法及全景视频显示装置 | |
| CN107959778B (zh) | 基于双摄像头的成像方法和装置 | |
| CN111161356B (zh) | 一种基于双层优化的红外和可见光融合方法 | |
| CN105376530B (zh) | 一种基于固定位置的全景视频图像生成装置 | |
| CN108024058B (zh) | 图像虚化处理方法、装置、移动终端和存储介质 | |
| US11840357B2 (en) | Method and device for dual-light image integration, and unmanned aerial vehicle | |
| US9392192B2 (en) | Image processing device, server, and storage medium to perform image composition | |
| JP2020061128A (ja) | 二重ストリームディープラーニングニューラルネットワークを有する双眼歩行者検出システムおよびこれを利用する方法 | |
| CN113129241B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| CN105141858A (zh) | 照片背景虚化系统及其方法 | |
| CN101964919A (zh) | 成像设备和成像方法 | |
| CN112153306B (zh) | 图像采集系统、方法、装置、电子设备及可穿戴设备 | |
| CN107529098A (zh) | 实时视频摘要 | |
| CN109190520A (zh) | 一种超分辨率重建人脸图像方法及装置 | |
| CN112004029B (zh) | 曝光处理方法、装置、电子设备、计算机可读存储介质 | |
| CN109587407A (zh) | 图像拍摄的曝光量调整方法、装置及计算机设备 | |
| CN103260046A (zh) | 一种三维显示方法及系统 | |
| CN102164269A (zh) | 全景监控方法及装置 | |
| CN104184935A (zh) | 影像拍摄设备及方法 | |
| CN108024057A (zh) | 背景虚化处理方法、装置及设备 | |
| CN108460721A (zh) | 一种基于硬件加速卡的全景视频拼接系统及方法 | |
| CN107808402A (zh) | 多相机系统的标定方法、多相机系统及终端设备 | |
| CN108259764A (zh) | 摄像机、应用于摄像机的图像处理方法及装置 | |
| CN107277299A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN115641519A (zh) | 输电线路检查方法、装置及非易失性存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171124 |