CN109041591A - 图像传输方法、设备、可移动平台、监控设备及系统 - Google Patents

图像传输方法、设备、可移动平台、监控设备及系统 Download PDF

Info

Publication number
CN109041591A
CN109041591A CN201780017757.3A CN201780017757A CN109041591A CN 109041591 A CN109041591 A CN 109041591A CN 201780017757 A CN201780017757 A CN 201780017757A CN 109041591 A CN109041591 A CN 109041591A
Authority
CN
China
Prior art keywords
image
monitoring device
capture apparatus
data
moveable platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780017757.3A
Other languages
English (en)
Inventor
刘怀宇
吴凡
吴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109041591A publication Critical patent/CN109041591A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供一种图像传输方法、设备、可移动平台、监控设备及系统,该方法包括:获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像(S101);对第一图像和第二图像进行图像处理得到图像处理后的图像数据(S102);将图像处理后的图像数据发送给监控设备(S103)。通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,避免监控画面中缺少视差信息或深度信息,可准确判断出监控画面中物体的远近,提高了远程监控的精确度。

Description

图像传输方法、设备、可移动平台、监控设备及系统
技术领域
本发明实施例涉及无人机领域,尤其涉及一种图像传输方法、设备、可移动平台、监控设备及系统。
背景技术
现有技术中无人机、航模、遥控车、遥控船、可移动机器人等可移动平台上可搭载有拍摄设备,进一步的,可移动平台通过通信系统将拍摄设备拍摄到的图像或视频传输给远程的监控设备。
但是现有技术中,可移动平台向远程的监控设备发送的是二维的图像或视频,使得远程的监控设备显示的画面为二维图像,也就是说持有监控设备的用户看到的监视画面为二维图像。
由于二维图像中缺少视差信息或深度信息,导致用户无法准确判断监视画面中物体的远近,从而导致用户无法精确的通过监控设备对可移动平台进行远程监控。
发明内容
本发明实施例提供一种图像传输方法、设备、可移动平台、监控设备及系统,以提高对可移动平台远程监控的精确度。
本发明实施例的第一方面是提供一种图像传输方法,包括:
获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的;
对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据;
将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
本发明实施例的第二方面是提供一种图像传输方法,包括:
接收可移动平台发送的图像数据,所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的;
根据所述图像数据确定出所述第一图像和所述第二图像;
通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
本发明实施例的第三方面是提供一种图像传输设备,包括:第一通讯接口、第一处理器;
所述第一处理器用于:
获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的;
对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据;
所述第一通讯接口用于:
将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
本发明实施例的第四方面是提供一种可移动平台,包括:
机身;
动力系统,安装在所述机身,用于提供动力;
控制器,与所述动力系统通讯连接,用于控制所述可移动平台移动;
以及第三方面提供的图像传输设备。
本发明实施例的第五方面是提供一种监控设备,包括:第二通讯接口、第二处理器、第一显示设备和第二显示设备;
所述第二通讯接口用于:
接收可移动平台发送的图像数据,所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的;
所述第二处理器用于:
根据所述图像数据确定出所述第一图像和所述第二图像;
通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
本发明实施例的第六方面是提供一种监控设备,包括:第四方面提供的可移动平台;以及第五方面提供的监控设备。
本实施例提供的图像传输方法、设备、可移动平台、监控设备及系统,通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像传输方法的流程图;
图2为本发明实施例提供的图像传输系统的示意图;
图3为本发明实施例提供的图像处理的示意图;
图4为本发明实施例提供的图像合成的示意图;
图5为本发明实施例提供的图像合成的示意图;
图6为本发明实施例提供的图像合成的示意图;
图7为本发明实施例提供的图像合成的示意图;
图8为本发明另一实施例提供的图像传输系统的示意图;
图9为本发明另一实施例提供的图像传输系统的示意图;
图10为本发明另一实施例提供的图像传输方法的流程图;
图11为本发明另一实施例提供的图像处理的示意图;
图12为本发明另一实施例提供的图像传输方法的流程图;
图13为本发明另一实施例提供的图像传输方法的流程图;
图14为本发明另一实施例提供的图像传输方法的流程图;
图15为本发明实施例提供的图像传输设备的结构图;
图16为本发明实施例提供的无人机的结构图;
图17为本发明实施例提供的监控设备的结构图;
图18为本发明另一实施例提供的监控设备的结构图。
附图标记:
20-无人机 21-第一拍摄设备 22-第二拍摄设备
23-处理器 24-通信系统 25-监控设备
26-监控设备 27-第一显示设备 28-第二显示设备
114-天线 31-第一图像 32-第二图像
33-目标图像 34-图像数据 110-第一码流数据
111-第二码流数据 150-图像传输设备 151-第一通讯接口
152-第一处理器 100-无人机 106-螺旋桨
107-电机 117-电子调速器 118-飞行控制器
170-监控设备 171-第二通讯接口 172-第二处理器
173-第一显示设备 174-第二显示设备 175-缓冲器
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种图像传输方法。图1为本发明实施例提供的图像传输方法的流程图。如图1所示,本实施例中的方法,可以包括:
步骤S101、获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的。
本实施例所述的图像传输方法适用于可移动平台和其对应的监控设备,可移动平台包括如下至少一种:无人机、可移动机器人、航模、遥控车、遥控船。
本实施例以无人机为例,介绍无人机和地面监控设备之间的图像传输过程。如图2所示,无人机20搭载有第一拍摄设备21和第二拍摄设备22,第一拍摄设备21具体可以是一个摄像头,第二拍摄设备22具体可以是另一个摄像头。处理器23与第一拍摄设备21和第二拍摄设备22通讯连接,处理器23可控制第一拍摄设备21和第二拍摄设备22在同一时刻拍摄图像信息。
本实施例方法的执行主体可以是可移动平台内的处理器,该处理器可以是其他通用或者专用的处理器,该处理器具有图像处理功能。
具体的,处理器23可获取第一拍摄设备21和第二拍摄设备22在同一时刻拍摄的图像信息,在本实施例中,将第一拍摄设备21拍摄的图像信息记为第一图像,将第二拍摄设备22拍摄的图像信息记为第二图像。
在其他实施例中,处理器23还可控制第一拍摄设备21和第二拍摄设备22的拍摄参数,使得第一拍摄设备21拍摄的第一图像和第二拍摄设备22拍摄的第二图像的拍摄参数相同,拍摄参数包括如下至少一种:曝光时间、快门速度、光圈大小。
步骤S102、对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据。
处理器23获取到同一时刻第一拍摄设备21拍摄的第一图像和第二拍摄设备22拍摄的第二图像之后,对第一图像和第二图像进行图像处理得到图像处理后的图像数据。
具体的,对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据的一种实现方式是:将所述第一图像和所述第二图像合成目标图像;对所述目标图像进行编码得到编码后的图像数据。如图3所示,31表示第一拍摄设备21拍摄的第一图像,32表示第二拍摄设备22拍摄的第二图像,处理器23先将第一图像31和第二图像32合成目标图像33,进一步对目标图像33进行编码得到编码后的图像数据34。
具体的,将所述第一图像和所述第二图像合成目标图像包括如下几种可能的实现方式:
一种可能的实现方式是:将所述第一图像和所述第二图像进行左右拼接得到所述目标图像。如图4所示,将第一图像31拼接在第二图像32的左边得到拼接后的目标图像33,或者,如图5所示,将第一图像31拼接在第二图像32的右边得到拼接后的目标图像33。
另一种可能的实现方式是:将所述第一图像和所述第二图像进行上下拼接得到所述目标图像。如图6所示,将第一图像31拼接在第二图像32的上面得到拼接后的目标图像33,或者,如图7所示,将第一图像31拼接在第二图像32的下面得到拼接后的目标图像33。
如图4-图7所示的拼接方法只是示意性说明,并不作具体限制,在其他实施例中,还可以有其他的图像合并方法。
步骤S103、将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
如图2或图3所示,处理器23将对第一图像31和第二图像32图像处理后的图像数据34通过无人机20的通信系统24发送给地面的监控设备25,监控设备25通过天线114接收无人机20发送的图像数据。该监控设备包括如下至少一种:遥控器、用户终端设备、头戴式眼镜。或者,该监控设备还可以是可穿戴设备。
如图8所示,监控设备25接收到编码后的图像数据34后,监控设备25内的处理器26首先对编码后的图像数据34进行解码得到目标图像33,进一步对目标图像33进行拆分得到第一图像31和第二图像32,并通过第一显示设备27显示第一图像31,并通过第二显示设备28显示第二图像32,或者,通过第一显示设备27显示第二图像32,并通过第二显示设备28显示第一图像31。第一显示设备27具体可以是一个显示屏,第二显示设备28具体可以是另一个显示屏。
可选的,第一显示设备27和第二显示设备28可以设置在监控设备25上。或者,第一显示设备27和第二显示设备28还可以是监控设备25的外接设备,第一显示设备27和第二显示设备28分别与监控设备25通讯连接,如图9所示。
本实施例通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输方法。图10为本发明另一实施例提供的图像传输方法的流程图。如图10所示,在图1所示实施例的基础上,步骤S102对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据的另一种实现方式包括如下步骤:
步骤S1021、对所述第一图像和所述第二图像分别进行编号。
具体的,处理器23可以对第一拍摄设备21拍摄的第一图像和第二拍摄设备22拍摄的第二图像分别进行编号,例如,第一图像的编号为001,第二图像的编号为002。
步骤S1022、对所述第一图像和所述第一图像的编号进行编码得到编码后的第一码流数据。
如图11所示,处理器23对第一图像和第一图像的编号进行编码得到编码后的第一码流数据110。
步骤S1023、对所述第二图像和所述第二图像的编号进行编码得到编码后的第二码流数据。
如图11所示,处理器23对第二图像和第二图像的编号进行编码得到编码后的第二码流数据111。
相应的,步骤S103将所述图像处理后的图像数据发送给监控设备包括图2所示的步骤S1031:将编码后的第一码流数据和编码后的第二码流数据发送给监控设备。
具体的,处理器23将编码后的第一码流数据110和编码后的第二码流数据111通过无人机20的通信系统24发送给地面的监控设备25,可选的,通信系统24按照预设的顺序例如编码顺序向监控设备25发送编码后的第一码流数据110和编码后的第二码流数据111。
本实施例通过对第一图像和第一图像的编号进行编码得到编码后的第一码流数据,以及对第二图像和第二图像的编号进行编码得到编码后的第二码流数据,相比于将第一图像和第二图像进行合并,对合并后的图像进行编码,降低了编码码率,同时降低了对传输带宽的要求。
本发明实施例提供一种图像传输方法。在上述实施例的基础上,所述方法还包括:控制所述第一拍摄设备和所述第二拍摄设备的拍摄参数。如图2所示,无人机20的处理器23还可以控制第一拍摄设备21和第二拍摄设备22的拍摄参数。所述拍摄参数包括如下至少一种:曝光时间、快门速度、光圈大小。
可选的,所述第一图像和所述第二图像是同一时刻拍摄的,且所述第一图像和所述第二图像的拍摄参数相同。
另外,所述第一拍摄设备和所述第二拍摄设备的相对位置是通过模拟人眼的相对位置确定的。所述第一拍摄设备和所述第二拍摄设备平齐设置在所述可移动平台。例如,第一拍摄设备21和第二拍摄设备22平齐设置在无人机20。
此外,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
所述方法还包括:将所述三维图像发送给监控设备,以使所述监控设备通过所述第一显示设备和所述第二显示设备显示所述三维图像。例如,处理器23还可以通过无人机20的通信系统24将第一拍摄设备21和第二拍摄设备22获取的三维图像发送给地面的监控设备25,监控设备25接收到三维图像后,如图8或图9所示,通过第一显示设备27和第二显示设备28显示该三维图像。
本实施例通过第一拍摄设备和第二拍摄设备获取三维图像,并将该三维图像发送给地面的监控设备,通过三维图像可以给用户提供更真实、自然的监控画面,使得用户能够准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输方法。图12为本发明另一实施例提供的图像传输方法的流程图。本实施例方法的执行主体可以是监控设备。如图12所示,本实施例中的方法,可以包括:
步骤S1201、接收可移动平台发送的图像数据。
所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的。
如图2所示,无人机20搭载有第一拍摄设备21和第二拍摄设备22,第一拍摄设备21具体可以是一个摄像头,第二拍摄设备22具体可以是另一个摄像头。无人机20的处理器23可获取同一时刻第一拍摄设备21拍摄的第一图像和第二拍摄设备22拍摄的第二图像,进一步的,处理器23对第一图像和第二图像进行图像处理得到图像处理后的图像数据,并将图像数据通过无人机20的通信系统24发送给地面的监控设备25,监控设备25通过天线114接收无人机20发送的图像数据。
步骤S1202、根据所述图像数据确定出所述第一图像和所述第二图像。
在本实施例中,所述图像数据是所述可移动平台将所述第一图像和所述第二图像合成目标图像,并对所述目标图像进行编码后得到的编码图像数据。在这种情况下,根据所述图像数据确定出所述第一图像和所述第二图像,包括:将所述编码图像数据进行解码得到所述目标图像;将所述目标图像分解为所述第一图像和所述第二图像。
如图3所示,31表示第一拍摄设备21拍摄的第一图像,32表示第二拍摄设备22拍摄的第二图像,处理器23先将第一图像31和第二图像32合成目标图像33,进一步对目标图像33进行编码得到编码后的图像数据34。当监控设备25通过天线114接收到无人机20发送的图像数据之后,监控设备25内的处理器26首先对图像数据34进行解码得到目标图像33,进一步将目标图像33分解为第一图像31和第二图像32。
根据目标图像的形成方式不同,可采用不同的方法将所述目标图像分解为所述第一图像和所述第二图像。
目标图像的一种形成方式是:所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行左右拼接后得到的。相应的,所述将所述目标图像分解为所述第一图像和所述第二图像,包括:将所述目标图像进行左右分解,得到所述第一图像和所述第二图像。
如图4所示,将第一图像31拼接在第二图像32的左边得到拼接后的目标图像33,或者,如图5所示,将第一图像31拼接在第二图像32的右边得到拼接后的目标图像33。在这种情况下,监控设备25内的处理器26可以将目标图像33进行左右分解,得到第一图像31和第二图像32。
目标图像的另一种形成方式是:所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行上下拼接后得到的。相应的,所述将所述目标图像分解为所述第一图像和所述第二图像,包括:将所述目标图像进行上下分解,得到所述第一图像和所述第二图像。
如图6所示,将第一图像31拼接在第二图像32的上面得到拼接后的目标图像33,或者,如图7所示,将第一图像31拼接在第二图像32的下面得到拼接后的目标图像33。在这种情况下,监控设备25内的处理器26可以将目标图像33进行上下分解,得到第一图像31和第二图像32。
步骤S1203、通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
如图8或图9所示,监控设备25内的处理器26通过第一显示设备27显示第一图像31,并通过第二显示设备28显示第二图像32,或者,通过第一显示设备27显示第二图像32,并通过第二显示设备28显示第一图像31。第一显示设备27具体可以是一个显示屏,第二显示设备28具体可以是另一个显示屏。
本实施例通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输方法。图13为本发明另一实施例提供的图像传输方法的流程图。本实施例方法的执行主体可以是监控设备。如图13所示,本实施例中的方法,可以包括:
步骤S1301、接收所述可移动平台发送的第一码流数据和第二码流数据。
所述第一码流数据是所述可移动平台对所述第一图像和所述第一图像的编号进行编码后得到的,所述第二码流数据是所述可移动平台对所述第二图像和所述第二图像的编号进行编码后得到的。
如图11所示,处理器23对第一拍摄设备21拍摄的第一图像和第二拍摄设备22拍摄的第二图像分别进行编号,例如,第一图像的编号为001,第二图像的编号为002。处理器23对第一图像和第一图像的编号进行编码得到编码后的第一码流数据110。处理器23对第二图像和第二图像的编号进行编码得到编码后的第二码流数据111。处理器23将编码后的第一码流数据110和编码后的第二码流数据111通过无人机20的通信系统24发送给地面的监控设备25。监控设备25通过天线114接收到通信系统24发送的编码后的第一码流数据110和编码后的第二码流数据111。
步骤S1302、对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号。
进一步的,监控设备25的处理器26对第一码流数据110和第二码流数据111分别进行解码得到第一图像和第一图像的编号001,以及第二图像和第二图像的编号002。
步骤S1303、根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
监控设备25的处理器26根据第一图像的编号001和第二图像的编号002确定第一图像和第二图像是否为同一时刻拍摄的图像。
具体的,所述根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像,包括:若解码得到的所述第一图像的编号和所述第二图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
例如,无人机20的处理器23按照预设编号规则对同一时刻拍摄的第一图像和第二图像分别进行编号,则监控设备25的处理器26可根据该预设编号规则确定第一图像的编号001和第二图像的编号002是否符合该预设编号规则。例如,该预设编号规则中:001和002是一对编号、003和004是一对编号、1和10001是一对编号、2和10002是一对编号等等,此处只是示意性说明,并不限定具体的编号。则当监控设备25的处理器26对第一码流数据110和第二码流数据111分别进行解码得到第一图像和第一图像的编号001,以及第二图像和第二图像的编号002之后,可以确定001和002是一对编号,则说明第一图像和第二图像是同一时刻拍摄的一对图像。
步骤S1304、若所述第一图像和所述第二图像是同一时刻拍摄的图像,则通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
监控设备25的处理器26根据上述步骤S1303确定出第一图像和第二图像是同一时刻拍摄的一对图像之后,如图8或图9所示,监控设备25内的处理器26通过第一显示设备27显示第一图像31,并通过第二显示设备28显示第二图像32,或者,通过第一显示设备27显示第二图像32,并通过第二显示设备28显示第一图像31。第一显示设备27具体可以是一个显示屏,第二显示设备28具体可以是另一个显示屏。
本实施例通过对第一图像和第一图像的编号进行编码得到编码后的第一码流数据,以及对第二图像和第二图像的编号进行编码得到编码后的第二码流数据,相比于将第一图像和第二图像进行合并,对合并后的图像进行编码,降低了编码码率,同时降低了对传输带宽的要求。
本发明实施例提供一种图像传输方法。图14为本发明另一实施例提供的图像传输方法的流程图。本实施例方法的执行主体可以是监控设备。如图14所示,本实施例中的方法,可以包括:
步骤S1401、接收所述可移动平台发送的第一码流数据和第二码流数据。
所述第一码流数据是所述可移动平台对所述第一图像和所述第一图像的编号进行编码后得到的,所述第二码流数据是所述可移动平台对所述第二图像和所述第二图像的编号进行编码后得到的。
步骤S1401的具体原理和实现方式均与步骤S1301类似,此处不再赘述。
步骤S1402、对所述第一码流数据进行解码得到所述第一图像和所述第一图像的编号。
监控设备25通过天线114接收到通信系统24发送的编码后的第一码流数据110和编码后的第二码流数据111之后,监控设备25的处理器26对第一码流数据110进行解码得到第一图像和第一图像的编号001。
步骤S1403、将所述第一图像和所述第一图像的编号进行缓存。
在本实施例中,监控设备25还可以包括缓冲器,处理器26对第一码流数据110进行解码得到第一图像和第一图像的编号001之后,可以将第一图像和第一图像的编号001先缓存在该缓冲器中。
步骤S1404、对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号。
进一步的,监控设备25的处理器26对第二码流数据111进行解码得到第二图像和第二图像的编号002。
步骤S1405、根据所述第二图像的编号和缓存中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
处理器26根据第二图像的编号002和该缓冲器中缓存中的第一图像的编号001,确定第一图像和第二图像是否为同一时刻拍摄的图像。
具体的,若所述第二图像的编号和缓存中的所述第一图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。例如,预设编号规则中规定001和002是一对编号、003和004是一对编号等等,则第二图像的编号002和该缓冲器中缓存中的第一图像的编号001匹配,说明第一图像和第二图像是同一时刻拍摄的一对图像。
步骤S1406、若所述第一图像和所述第二图像是同一时刻拍摄的图像,则通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
监控设备25的处理器26根据上述步骤S1303确定出第一图像和第二图像是同一时刻拍摄的一对图像之后,如图8或图9所示,监控设备25内的处理器26通过第一显示设备27显示第一图像31,并通过第二显示设备28显示第二图像32,或者,通过第一显示设备27显示第二图像32,并通过第二显示设备28显示第一图像31。第一显示设备27具体可以是一个显示屏,第二显示设备28具体可以是另一个显示屏。
另外,在本实施例中,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。所述方法还包括:接收所述可移动平台发送的所述三维图像;通过所述第一显示设备和所述第二显示设备显示所述三维图像。
可选的,第一拍摄设备21和第二拍摄设备22平齐设置在无人机20。第一拍摄设备21和第二拍摄设备22的相对位置是通过模拟人眼的相对位置确定的。第一拍摄设备21和第二拍摄设备22还可用于获取三维图像。在这种情况下,处理器23还可以通过无人机20的通信系统24将第一拍摄设备21和第二拍摄设备22获取的三维图像发送给地面的监控设备25,监控设备25接收到三维图像后,如图8或图9所示,通过第一显示设备27和第二显示设备28显示该三维图像。
本实施例通过第一拍摄设备和第二拍摄设备获取三维图像,并将该三维图像发送给地面的监控设备,通过三维图像可以给用户提供更真实、自然的监控画面,使得用户能够准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输设备。图15为本发明实施例提供的图像传输设备的结构图,如图5所示,图像传输设备150包括:第一通讯接口151和第一处理器152;其中,第一处理器152用于:获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的;对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据。第一通讯接口151用于:将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
可选的,第一处理器152对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据时,具体用于:将所述第一图像和所述第二图像合成目标图像;对所述目标图像进行编码得到编码后的图像数据。
第一处理器152将所述第一图像和所述第二图像合成目标图像时分如下几种可能的情况:
一种可能的情况是:将所述第一图像和所述第二图像进行左右拼接得到所述目标图像。
另一种可能的情况是:将所述第一图像和所述第二图像进行上下拼接得到所述目标图像。
本发明实施例提供的图像传输设备的具体原理和实现方式均与图1所示实施例类似,此处不再赘述。
本实施例通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输设备。在图15所示实施例提供的技术方案的基础上,第一处理器152对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据,包括:对所述第一图像和所述第二图像分别进行编号;对所述第一图像和所述第一图像的编号进行编码得到编码后的第一码流数据;对所述第二图像和所述第二图像的编号进行编码得到编码后的第二码流数据。
相应的,第一通讯接口151将所述图像处理后的图像数据发送给监控设备时,具体用于:将编码后的第一码流数据和编码后的第二码流数据发送给监控设备。
在本实施例中,第一处理器152还用于:控制所述第一拍摄设备和所述第二拍摄设备的拍摄参数。所述拍摄参数包括如下至少一种:曝光时间、快门速度、光圈大小。
可选的,所述第一图像和所述第二图像的拍摄参数相同。所述第一拍摄设备和所述第二拍摄设备的相对位置是通过模拟人眼的相对位置确定的。所述第一拍摄设备和所述第二拍摄设备平齐设置在所述可移动平台。所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
第一通讯接口151还用于:将所述三维图像发送给监控设备,以使所述监控设备通过所述第一显示设备和所述第二显示设备显示所述三维图像。
可选的,第一处理器152包括如下至少一种:复杂可编程逻辑器件CPLD、现场可编辑门阵列FPGA、桥接芯片。
本发明实施例提供的图像传输设备的具体原理和实现方式均与图10所示实施例类似,此处不再赘述。
本实施例通过对第一图像和第一图像的编号进行编码得到编码后的第一码流数据,以及对第二图像和第二图像的编号进行编码得到编码后的第二码流数据,相比于将第一图像和第二图像进行合并,对合并后的图像进行编码,降低了编码码率,同时降低了对传输带宽的要求;另外,通过第一拍摄设备和第二拍摄设备获取三维图像,并将该三维图像发送给地面的监控设备,通过三维图像可以给用户提供更真实、自然的监控画面,使得用户能够准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种可移动平台。所述可移动平台包括如下至少一种:无人机、可移动机器人、航模、遥控车、遥控船。在本实施例中,该可移动平台具体为无人机。图16为本发明实施例提供的无人机的结构图,如图16所示,无人机100包括:机身、动力系统和飞行控制器118,所述动力系统包括如下至少一种:电机107、螺旋桨106和电子调速器117,动力系统安装在所述机身,用于提供飞行动力;飞行控制器118与所述动力系统通讯连接,用于控制所述无人机飞行。
另外,如图16所示,无人机100还包括:第一拍摄设备21、第二拍摄设备22、图像传输设备150,图像传输设备150的具体原理和实现方式均与上述实施例类似,此处不再赘述。
本实施例通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种监控设备。图17为本发明实施例提供的监控设备的结构图,如图17所示,监控设备170包括:第二通讯接口171、第二处理器172、第一显示设备173和第二显示设备174。其中,第二通讯接口171用于:接收可移动平台发送的图像数据,所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的;第二处理器172用于:根据所述图像数据确定出所述第一图像和所述第二图像;通过第一显示设备173显示所述第一图像,以及通过第二显示设备174显示所述第二图像。
可选的,所述图像数据是所述可移动平台将所述第一图像和所述第二图像合成目标图像,并对所述目标图像进行编码后得到的编码图像数据。相应的,第二处理器172根据所述图像数据确定出所述第一图像和所述第二图像时,具体用于:将所述编码图像数据进行解码得到所述目标图像;将所述目标图像分解为所述第一图像和所述第二图像。
具体的,所述目标图像有如下几种可能的形成方式:
一种可能的形成方式是:所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行左右拼接后得到的。在这种情况下,第二处理器172将所述目标图像分解为所述第一图像和所述第二图像时,具体用于:将所述目标图像进行左右分解,得到所述第一图像和所述第二图像。
另一种可能的形成方式是:所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行上下拼接后得到的。在这种情况下,第二处理器172将所述目标图像分解为所述第一图像和所述第二图像时,具体用于:将所述目标图像进行上下分解,得到所述第一图像和所述第二图像。
在其他实施例中,第一显示设备173和第二显示设备174还可以是监控设备170的外接设备。
本发明实施例提供的监控设备的具体原理和实现方式均与图12所示实施例类似,此处不再赘述。
本实施例通过获取可移动平台搭载的两个拍摄设备分别在同一时刻拍摄的两个图像,并对两个图像进行图像处理得到图像数据,将图像数据发送给监控设备,监控设备根据图像数据还原出两个图像,并通过两个显示设备各显示一个图像,使用户通过两个显示设备观测到的监控画面更符合人眼的视觉特征,避免监控画面中缺少视差信息或深度信息,用户可准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种监控设备。在图17所示实施例提供的技术方案的基础上,第二通讯接口171接收可移动平台发送的图像数据时,具体用于:接收所述可移动平台发送的第一码流数据和第二码流数据,所述第一码流数据是所述可移动平台对所述第一图像和所述第一图像的编号进行编码后得到的,所述第二码流数据是所述可移动平台对所述第二图像和所述第二图像的编号进行编码后得到的。
第二处理器172根据所述图像数据确定出所述第一图像和所述第二图像时,具体用于:对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号。
第二处理器172对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号之后,还用于:根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
可选的,第二处理器172根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像时,具体用于:确定解码得到的所述第一图像的编号和所述第二图像的编号是否匹配;若解码得到的所述第一图像的编号和所述第二图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
本发明实施例提供的监控设备的具体原理和实现方式均与图13所示实施例类似,此处不再赘述。
本实施例通过对第一图像和第一图像的编号进行编码得到编码后的第一码流数据,以及对第二图像和第二图像的编号进行编码得到编码后的第二码流数据,相比于将第一图像和第二图像进行合并,对合并后的图像进行编码,降低了编码码率,同时降低了对传输带宽的要求。
本发明实施例提供一种监控设备。所述监控设备包括如下至少一种:遥控器、用户终端设备、头戴式眼镜。图18为本发明另一实施例提供的监控设备的结构图,如图18所示,在图17所示实施例提供的技术方案的基础上,监控设备170还包括:缓冲器175,第二处理器172对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号时,具体用于:对所述第一码流数据进行解码得到所述第一图像和所述第一图像的编号;将所述第一图像和所述第一图像的编号缓存到缓冲器175;对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号。
第二处理器172对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号之后,还包括:根据所述第二图像的编号和所述缓冲器中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
具体的,第二处理器172根据所述第二图像的编号和所述缓冲器中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像时,具体用于:确定所述第二图像的编号和所述缓冲器中的所述第一图像的编号是否匹配;若所述第二图像的编号和所述缓冲器中的所述第一图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。可选的,第二通讯接口171还用于:接收所述可移动平台发送的所述三维图像;第二处理器172还用于:通过所述第一显示设备和所述第二显示设备显示所述三维图像。
可选的,第二处理器172包括如下至少一种:复杂可编程逻辑器件CPLD、现场可编辑门阵列FPGA、桥接芯片。
本发明实施例提供的监控设备的具体原理和实现方式均与图14所示实施例类似,此处不再赘述。
本实施例通过第一拍摄设备和第二拍摄设备获取三维图像,并将该三维图像发送给地面的监控设备,通过三维图像可以给用户提供更真实、自然的监控画面,使得用户能够准确判断出监控画面中物体的远近,从而提高了对可移动平台远程监控的精确度。
本发明实施例提供一种图像传输系统。如图2、图8或图9所示,图像传输系统包括可移动平台例如无人机20和监控设备25。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (66)

1.一种图像传输方法,其特征在于,包括:
获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的;
对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据;
将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过第二显示设备显示所述第二图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据,包括:
将所述第一图像和所述第二图像合成目标图像;
对所述目标图像进行编码得到编码后的图像数据。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像和所述第二图像合成目标图像,包括:
将所述第一图像和所述第二图像进行左右拼接得到所述目标图像。
4.根据权利要求2所述的方法,其特征在于,所述将所述第一图像和所述第二图像合成目标图像,包括:
将所述第一图像和所述第二图像进行上下拼接得到所述目标图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据,包括:
对所述第一图像和所述第二图像分别进行编号;
对所述第一图像和所述第一图像的编号进行编码得到编码后的第一码流数据;
对所述第二图像和所述第二图像的编号进行编码得到编码后的第二码流数据。
6.根据权利要求5所述的方法,其特征在于,所述将所述图像处理后的图像数据发送给监控设备,包括:
将编码后的第一码流数据和编码后的第二码流数据发送给监控设备。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
控制所述第一拍摄设备和所述第二拍摄设备的拍摄参数。
8.根据权利要求7所述的方法,其特征在于,所述拍摄参数包括如下至少一种:
曝光时间、快门速度、光圈大小。
9.根据权利要求8所述的方法,其特征在于,所述第一图像和所述第二图像的拍摄参数相同。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一拍摄设备和所述第二拍摄设备的相对位置是通过模拟人眼的相对位置确定的。
11.根据权利要求10所述的方法,其特征在于,所述第一拍摄设备和所述第二拍摄设备平齐设置在所述可移动平台。
12.根据权利要求11所述的方法,其特征在于,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
将所述三维图像发送给监控设备,以使所述监控设备通过所述第一显示设备和所述第二显示设备显示所述三维图像。
14.根据权利要求1所述的方法,其特征在于,所述可移动平台包括如下至少一种:
无人机、可移动机器人、航模、遥控车、遥控船。
15.根据权利要求1所述的方法,其特征在于,所述监控设备包括如下至少一种:
遥控器、用户终端设备、头戴式眼镜。
16.一种图像传输方法,其特征在于,包括:
接收可移动平台发送的图像数据,所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的;
根据所述图像数据确定出所述第一图像和所述第二图像;
通过第一显示设备显示所述第一图像,以及通过第二显示设备显示所述第二图像。
17.根据权利要求16所述的方法,其特征在于,所述图像数据是所述可移动平台将所述第一图像和所述第二图像合成目标图像,并对所述目标图像进行编码后得到的编码图像数据。
18.根据权利要求17所述的方法,其特征在于,所述根据所述图像数据确定出所述第一图像和所述第二图像,包括:
将所述编码图像数据进行解码得到所述目标图像;
将所述目标图像分解为所述第一图像和所述第二图像。
19.根据权利要求18所述的方法,其特征在于,所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行左右拼接后得到的。
20.根据权利要求19所述的方法,其特征在于,所述将所述目标图像分解为所述第一图像和所述第二图像,包括:
将所述目标图像进行左右分解,得到所述第一图像和所述第二图像。
21.根据权利要求18所述的方法,其特征在于,所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行上下拼接后得到的。
22.根据权利要求21所述的方法,其特征在于,所述将所述目标图像分解为所述第一图像和所述第二图像,包括:
将所述目标图像进行上下分解,得到所述第一图像和所述第二图像。
23.根据权利要求16所述的方法,其特征在于,所述接收可移动平台发送的图像数据,包括:
接收所述可移动平台发送的第一码流数据和第二码流数据,所述第一码流数据是所述可移动平台对所述第一图像和所述第一图像的编号进行编码后得到的,所述第二码流数据是所述可移动平台对所述第二图像和所述第二图像的编号进行编码后得到的。
24.根据权利要求23所述的方法,其特征在于,所述根据所述图像数据确定出所述第一图像和所述第二图像,包括:
对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号。
25.根据权利要求24所述的方法,其特征在于,所述对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号之后,还包括:
根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
26.根据权利要求25所述的方法,其特征在于,所述根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像,包括:
若解码得到的所述第一图像的编号和所述第二图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
27.根据权利要求24所述的方法,其特征在于,所述对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号,包括:
对所述第一码流数据进行解码得到所述第一图像和所述第一图像的编号;
将所述第一图像和所述第一图像的编号进行缓存;
对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号。
28.根据权利要求27所述的方法,其特征在于,所述对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号之后,还包括:
根据所述第二图像的编号和缓存中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
29.根据权利要求28所述的方法,其特征在于,所述根据所述第二图像的编号和缓存中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像,包括:
若所述第二图像的编号和缓存中的所述第一图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
30.根据权利要求16所述的方法,其特征在于,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
31.根据权利要求30所述的方法,其特征在于,所述方法还包括:
接收所述可移动平台发送的所述三维图像;
通过所述第一显示设备和所述第二显示设备显示所述三维图像。
32.一种图像传输设备,其特征在于,包括:第一通讯接口、第一处理器;
所述第一处理器用于:
获取可移动平台搭载的第一拍摄设备拍摄的第一图像,以及第二拍摄设备拍摄的第二图像,所述第一图像和所述第二图像是在同一时刻拍摄的;
对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据;
所述第一通讯接口用于:
将所述图像处理后的图像数据发送给监控设备,以使所述监控设备根据所述图像数据确定出所述第一图像和所述第二图像,并通过第一显示设备显示所述第一图像,以及通过第二显示设备显示所述第二图像。
33.根据权利要求32所述的图像传输设备,其特征在于,所述第一处理器对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据时,具体用于:
将所述第一图像和所述第二图像合成目标图像;
对所述目标图像进行编码得到编码后的图像数据。
34.根据权利要求33所述的图像传输设备,其特征在于,所述第一处理器将所述第一图像和所述第二图像合成目标图像时,具体用于:
将所述第一图像和所述第二图像进行左右拼接得到所述目标图像。
35.根据权利要求33所述的图像传输设备,其特征在于,所述第一处理器将所述第一图像和所述第二图像合成目标图像时,具体用于:
将所述第一图像和所述第二图像进行上下拼接得到所述目标图像。
36.根据权利要求32所述的图像传输设备,其特征在于,所述第一处理器对所述第一图像和所述第二图像进行图像处理得到图像处理后的图像数据,包括:
对所述第一图像和所述第二图像分别进行编号;
对所述第一图像和所述第一图像的编号进行编码得到编码后的第一码流数据;
对所述第二图像和所述第二图像的编号进行编码得到编码后的第二码流数据。
37.根据权利要求36所述的图像传输设备,其特征在于,所述第一通讯接口将所述图像处理后的图像数据发送给监控设备时,具体用于:
将编码后的第一码流数据和编码后的第二码流数据发送给监控设备。
38.根据权利要求32所述的图像传输设备,其特征在于,所述第一处理器还用于:控制所述第一拍摄设备和所述第二拍摄设备的拍摄参数。
39.根据权利要求38所述的图像传输设备,其特征在于,所述拍摄参数包括如下至少一种:
曝光时间、快门速度、光圈大小。
40.根据权利要求39所述的图像传输设备,其特征在于,所述第一图像和所述第二图像的拍摄参数相同。
41.根据权利要求32-40任一项所述的图像传输设备,其特征在于,所述第一拍摄设备和所述第二拍摄设备的相对位置是通过模拟人眼的相对位置确定的。
42.根据权利要求41所述的图像传输设备,其特征在于,所述第一拍摄设备和所述第二拍摄设备平齐设置在所述可移动平台。
43.根据权利要求42所述的图像传输设备,其特征在于,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
44.根据权利要求43所述的图像传输设备,其特征在于,所述第一通讯接口还用于:
将所述三维图像发送给监控设备,以使所述监控设备通过所述第一显示设备和所述第二显示设备显示所述三维图像。
45.根据权利要求32-44任一项所述的图像传输设备,其特征在于,所述第一处理器包括如下至少一种:复杂可编程逻辑器件CPLD、现场可编辑门阵列FPGA、桥接芯片。
46.一种可移动平台,其特征在于,包括:
机身;
动力系统,安装在所述机身,用于提供动力;
控制器,与所述动力系统通讯连接,用于控制所述可移动平台移动;
以及如权利要求32-45任一项所述的图像传输设备。
47.根据权利要求46所述的可移动平台,其特征在于,所述可移动平台包括如下至少一种:
无人机、可移动机器人、航模、遥控车、遥控船。
48.一种监控设备,其特征在于,包括:第二通讯接口、第二处理器、第一显示设备和第二显示设备;
所述第二通讯接口用于:
接收可移动平台发送的图像数据,所述图像数据是所述可移动平台对第一拍摄设备拍摄的第一图像和第二拍摄设备拍摄的第二图像进行图像处理后得到的,其中,所述第一拍摄设备和所述第二拍摄设备搭载在所述可移动平台上,所述第一图像和所述第二图像是在同一时刻拍摄的;
所述第二处理器用于:
根据所述图像数据确定出所述第一图像和所述第二图像;
通过第一显示设备显示所述第一图像,以及通过所述第二显示设备显示所述第二图像。
49.根据权利要求48所述的监控设备,其特征在于,所述图像数据是所述可移动平台将所述第一图像和所述第二图像合成目标图像,并对所述目标图像进行编码后得到的编码图像数据。
50.根据权利要求49所述的监控设备,其特征在于,所述第二处理器根据所述图像数据确定出所述第一图像和所述第二图像时,具体用于:
将所述编码图像数据进行解码得到所述目标图像;
将所述目标图像分解为所述第一图像和所述第二图像。
51.根据权利要求50所述的监控设备,其特征在于,所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行左右拼接后得到的。
52.根据权利要求51所述的监控设备,其特征在于,所述第二处理器将所述目标图像分解为所述第一图像和所述第二图像时,具体用于:
将所述目标图像进行左右分解,得到所述第一图像和所述第二图像。
53.根据权利要求50所述的监控设备,其特征在于,所述目标图像是所述可移动平台将所述第一图像和所述第二图像进行上下拼接后得到的。
54.根据权利要求53所述的监控设备,其特征在于,所述第二处理器将所述目标图像分解为所述第一图像和所述第二图像时,具体用于:
将所述目标图像进行上下分解,得到所述第一图像和所述第二图像。
55.根据权利要求48所述的监控设备,其特征在于,所述第二通讯接口接收可移动平台发送的图像数据时,具体用于:
接收所述可移动平台发送的第一码流数据和第二码流数据,所述第一码流数据是所述可移动平台对所述第一图像和所述第一图像的编号进行编码后得到的,所述第二码流数据是所述可移动平台对所述第二图像和所述第二图像的编号进行编码后得到的。
56.根据权利要求55所述的监控设备,其特征在于,所述第二处理器根据所述图像数据确定出所述第一图像和所述第二图像时,具体用于:
对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号。
57.根据权利要求56所述的监控设备,其特征在于,所述第二处理器对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号之后,还用于:
根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
58.根据权利要求57所述的监控设备,其特征在于,所述第二处理器根据解码得到的所述第一图像的编号和所述第二图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像时,具体用于:
确定解码得到的所述第一图像的编号和所述第二图像的编号是否匹配;
若解码得到的所述第一图像的编号和所述第二图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
59.根据权利要求56所述的监控设备,其特征在于,还包括:缓冲器;
所述第二处理器对所述第一码流数据和所述第二码流数据分别进行解码得到所述第一图像和所述第一图像的编号,以及所述第二图像和所述第二图像的编号时,具体用于:
对所述第一码流数据进行解码得到所述第一图像和所述第一图像的编号;
将所述第一图像和所述第一图像的编号缓存到所述缓冲器;
对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号。
60.根据权利要求59所述的监控设备,其特征在于,所述第二处理器对所述第二码流数据进行解码得到所述第二图像和所述第二图像的编号之后,还包括:
根据所述第二图像的编号和所述缓冲器中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像。
61.根据权利要求60所述的监控设备,其特征在于,所述第二处理器根据所述第二图像的编号和所述缓冲器中的所述第一图像的编号,确定所述第一图像和所述第二图像是否为同一时刻拍摄的图像时,具体用于:
确定所述第二图像的编号和所述缓冲器中的所述第一图像的编号是否匹配;
若所述第二图像的编号和所述缓冲器中的所述第一图像的编号匹配,则确定所述第一图像和所述第二图像是同一时刻拍摄的图像。
62.根据权利要求48所述的监控设备,其特征在于,所述第一拍摄设备和所述第二拍摄设备用于获取三维图像。
63.根据权利要求62所述的监控设备,其特征在于,所述第二通讯接口还用于:
接收所述可移动平台发送的所述三维图像;
所述第二处理器还用于:通过所述第一显示设备和所述第二显示设备显示所述三维图像。
64.根据权利要求48-63任一项所述的监控设备,其特征在于,所述监控设备包括如下至少一种:
遥控器、用户终端设备、头戴式眼镜。
65.根据权利要求48-63任一项所述的监控设备,其特征在于,所述第二处理器包括如下至少一种:
复杂可编程逻辑器件CPLD、现场可编辑门阵列FPGA、桥接芯片。
66.一种图像传输系统,其特征在于,包括:
如权利要求46或47所述的可移动平台;以及
如权利要求48-65任一项所述的监控设备。
CN201780017757.3A 2017-09-12 2017-09-12 图像传输方法、设备、可移动平台、监控设备及系统 Pending CN109041591A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/101440 WO2019051649A1 (zh) 2017-09-12 2017-09-12 图像传输方法、设备、可移动平台、监控设备及系统

Publications (1)

Publication Number Publication Date
CN109041591A true CN109041591A (zh) 2018-12-18

Family

ID=64629721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017757.3A Pending CN109041591A (zh) 2017-09-12 2017-09-12 图像传输方法、设备、可移动平台、监控设备及系统

Country Status (4)

Country Link
US (1) US20200126286A1 (zh)
EP (1) EP3664442A4 (zh)
CN (1) CN109041591A (zh)
WO (1) WO2019051649A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111615826A (zh) * 2019-06-28 2020-09-01 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
WO2020207411A1 (zh) * 2019-04-12 2020-10-15 深圳市道通智能航空技术有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器
WO2021134575A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 显示控制方法和设备
CN113313744A (zh) * 2021-07-30 2021-08-27 成都工业学院 一种无人飞行器高度及位置显示方法
WO2023028939A1 (zh) * 2021-09-02 2023-03-09 深圳市大疆创新科技有限公司 信息采集系统及其标定方法、装置及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113056904A (zh) * 2020-05-28 2021-06-29 深圳市大疆创新科技有限公司 图像传输方法、可移动平台及计算机可读存储介质
CN113395491A (zh) * 2021-06-11 2021-09-14 上海海事大学 船舶机舱远程监测报警系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816160A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 根据输入图像特性创建立体图像及其再现的方法及设备
KR100886321B1 (ko) * 2007-07-18 2009-03-04 에스케이 텔레콤주식회사 3차원 영상 기반의 단말 및 이에 적용되는 입체경
CN203193785U (zh) * 2012-12-14 2013-09-11 国家电网公司 一种眼镜
CN105791810A (zh) * 2016-04-27 2016-07-20 深圳市高巨创新科技开发有限公司 一种虚拟立体显示的方法及装置
CN107005687A (zh) * 2015-12-30 2017-08-01 深圳市大疆创新科技有限公司 无人机飞行体验方法、装置、系统以及无人机
CN107071286A (zh) * 2017-05-17 2017-08-18 上海杨思信息科技有限公司 转动平台上图像高速并行采集传输方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
CN205510277U (zh) * 2016-02-06 2016-08-24 普宙飞行器科技(深圳)有限公司 一种无人机全景图像传输设备
US10274737B2 (en) * 2016-02-29 2019-04-30 Microsoft Technology Licensing, Llc Selecting portions of vehicle-captured video to use for display
CN205610838U (zh) * 2016-04-27 2016-09-28 深圳市高巨创新科技开发有限公司 一种虚拟立体显示的装置
CN106162145B (zh) * 2016-07-26 2018-06-08 北京奇虎科技有限公司 基于无人机的立体图像生成方法、装置
CN107071389A (zh) * 2017-01-17 2017-08-18 亿航智能设备(广州)有限公司 航拍方法、装置和无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1816160A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 根据输入图像特性创建立体图像及其再现的方法及设备
KR100886321B1 (ko) * 2007-07-18 2009-03-04 에스케이 텔레콤주식회사 3차원 영상 기반의 단말 및 이에 적용되는 입체경
CN203193785U (zh) * 2012-12-14 2013-09-11 国家电网公司 一种眼镜
CN107005687A (zh) * 2015-12-30 2017-08-01 深圳市大疆创新科技有限公司 无人机飞行体验方法、装置、系统以及无人机
CN105791810A (zh) * 2016-04-27 2016-07-20 深圳市高巨创新科技开发有限公司 一种虚拟立体显示的方法及装置
CN107071286A (zh) * 2017-05-17 2017-08-18 上海杨思信息科技有限公司 转动平台上图像高速并行采集传输方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207411A1 (zh) * 2019-04-12 2020-10-15 深圳市道通智能航空技术有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器
US11949844B2 (en) 2019-04-12 2024-04-02 Autel Robotics Co., Ltd. Image data processing method and apparatus, image processing chip, and aircraft
CN111615826A (zh) * 2019-06-28 2020-09-01 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
WO2020258243A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
WO2021134575A1 (zh) * 2019-12-31 2021-07-08 深圳市大疆创新科技有限公司 显示控制方法和设备
CN113313744A (zh) * 2021-07-30 2021-08-27 成都工业学院 一种无人飞行器高度及位置显示方法
CN113313744B (zh) * 2021-07-30 2021-09-28 成都工业学院 一种无人飞行器高度及位置显示方法
WO2023028939A1 (zh) * 2021-09-02 2023-03-09 深圳市大疆创新科技有限公司 信息采集系统及其标定方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20200126286A1 (en) 2020-04-23
EP3664442A1 (en) 2020-06-10
EP3664442A4 (en) 2020-06-24
WO2019051649A1 (zh) 2019-03-21

Similar Documents

Publication Publication Date Title
CN109041591A (zh) 图像传输方法、设备、可移动平台、监控设备及系统
CN105704501B (zh) 一种基于无人机全景视频的虚拟现实直播系统
US10650590B1 (en) Method and system for fully immersive virtual reality
CN106302427B (zh) 在虚拟现实环境中的分享方法及装置
EP3635949A1 (en) Spatially faithful telepresence supporting varying geometries and moving users
US20210192796A1 (en) An Apparatus, A Method And A Computer Program For Volumetric Video
US20190174125A1 (en) Positional zero latency
WO2018005235A1 (en) System and method for spatial interaction using automatically positioned cameras
WO2017166714A1 (zh) 全景图像的拍摄方法、装置及系统
CN105915766B (zh) 基于虚拟现实的控制方法和装置
CN107277494A (zh) 立体显示系统及方法
CN108986189A (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
CN107071389A (zh) 航拍方法、装置和无人机
CN105493501A (zh) 虚拟视觉相机
CN205510277U (zh) 一种无人机全景图像传输设备
CN103269423A (zh) 可拓展式三维显示远程视频通信方法
CN106204751B (zh) 现实对象与虚拟场景的实时整合方法和整合系统
CN105791810A (zh) 一种虚拟立体显示的方法及装置
CN106887033A (zh) 场景的渲染方法和装置
CN108702511A (zh) 视频传输的方法、设备及系统
WO2016203445A1 (en) MOBILE DEVICE WITH 4 CAMERAS TO TAKE 360ºX 360º STEREOSCOPIC IMAGES AND VIDEOS
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
CN205610838U (zh) 一种虚拟立体显示的装置
CN109005285A (zh) 增强现实处理方法、终端设备及存储介质
KR20220113772A (ko) 이종 클라이언트 엔드 포인트들로 스트리밍하기 위한 2d 비디오의 적응을 위한 뉴럴 네트워크 모델의 참조

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218