CN106657620A - 一种照片合成方法、装置及移动终端 - Google Patents

一种照片合成方法、装置及移动终端 Download PDF

Info

Publication number
CN106657620A
CN106657620A CN201611086312.4A CN201611086312A CN106657620A CN 106657620 A CN106657620 A CN 106657620A CN 201611086312 A CN201611086312 A CN 201611086312A CN 106657620 A CN106657620 A CN 106657620A
Authority
CN
China
Prior art keywords
mobile terminal
image
multiple images
acquisition parameters
shoots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611086312.4A
Other languages
English (en)
Inventor
吴玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201611086312.4A priority Critical patent/CN106657620A/zh
Publication of CN106657620A publication Critical patent/CN106657620A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种照片合成方法,其中,该方法包括:第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成。本发明还公开了一种照片合成装置及移动终端,解决了相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题,通过一个移动终端将多个移动终端几乎同时拍摄的照片进行合成,缩短了照片合成的时间,提高了用户体验。

Description

一种照片合成方法、装置及移动终端
技术领域
本发明涉及终端技术领域,尤其涉及一种照片合成方法、装置及移动终端。
背景技术
随着互联网的发展和终端的普及,终端的用户群越来越大,同时也对软件提出了更多智能,人性化的需求。
在现有的技术中,其实终端,虽然被用户作为一个游戏机或电视机,还可能是一个学习机,还可能成为小宝宝的乐园等等,给我们的生活带来更多的乐趣。
针对答复平面资料,如书画、报纸和海报等,对其进行电子扫描能够方便地对相关信息进行存储、复制和传输。使用文档扫描仪可以实现纸质平面资料的电子化,但传统的扫描仪有如下缺点:扫描仪图像获取方式为每次获取水平方向上一条线的像素,然后在其垂直方向上做合成为一幅完整的图像,因此,扫描仪能够处理的平面资料最大尺寸受限于扫描仪自身的尺寸,平面资料尺幅越大,扫描仪自身占地空间越大,易用性与可扩展性都很差。
可以使用图像拼接技术合成平面资料的全景图作为扫的一种有效替换手段,但是目前大多数图像拼接方法都是针对单移动终端的全景图像拼接。需要一个移动终端反复从不同角度拍摄之后合成,比较复杂且花费的时间较长。
针对相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题,目前尚未提出解决方案。
发明内容
本发明的主要目的在于提出一种照片合成方法、装置及移动终端,旨在解决相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题。
为实现上述目的,本发明提供了一种照片合成方法,包括:
第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;
所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
可选的,所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成包括:所述第一移动终端根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
可选的,所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像包括:所述第一移动终端将所述多张图像和所述基础图像转换为俯视视图图像;所述第一移动终端根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;所述第一移动终端根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。
可选的,在所述第一移动终端与所述多个第二移动终端进行绑定之后,所述方法还包括:所述第一移动终端接收设置拍摄参数的设置指令;所述第一移动终端根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。
可选的,所述第一移动终端将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置包括:所述第一移动终端向所述多个第二移动终端发送控制设置所述拍摄参数的控制指令,通过所述控制指令控制所述多个第二移动终端完成拍摄参数的设置,其中,所述拍摄参数包括快门值、光圈值和感光度ISO值。
根据本发明的另一方面,还提供了一种照片合成装置,应用于照移动终端,包括:
绑定模块,用于与多个第二移动终端通过WIFI连接或连接到同一局域网中;
第一接收模块,用于接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
合成模块,用于将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
可选的,所述合成模块包括:
获取单元,用于根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;
合成单元,用于将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
可选的,所述合成单元包括:
转换子单元,用于将所述多张图像和所述基础图像转换为俯视视图图像;
计算子单元,用于根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;
生成子单元,用于根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。
可选的,所述装置还包括:
第二接收模块,用于接收设置拍摄参数的设置指令;
设置模块,用于根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。
可选的,所述设置模块包括:
控制单元,用于向所述多个第二移动终端发送控制设置所述拍摄参数的控制指令,通过所述控制指令控制所述多个第二移动终端完成拍摄参数的设置,其中,所述拍摄参数包括快门值、光圈值和感光度ISO值。
根据本发明的另一方面,还提供了一种终端,包括上述的装置之一。
通过本发明,第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,解决了相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题,通过一个移动终端将多个移动终端拍摄的照片进行合成,在照片拍摄完成后较短时间便可合成照片,缩短了照片合成的时间,提高了用户体验。
附图说明
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图;
图2为如图1所示的移动终端的无线通信系统示意图;
图3是根据本发明实施例的照片合成方法的流程图;
图4是根据本发明实施例的第一移动终端与多个第二移动终端连接的示意图;
图5是根据本发明实施例的第一移动终端设置与多个第二移动终端连接的示意图;
图6是根据本发明实施例的照片输入的示意图一;
图7是根据本发明实施例的照片输入的示意图二;
图8是根据本发明实施例的照片合成装置的框图;
图9是根据本发明优选实施例的照片合成装置的第一框图;
图10是根据本发明优选实施例的照片合成装置的第二框图;
图11是根据本发明优选实施例的照片合成装置的第三框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。
图1示出了具有各种组件的移动终端100,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端100的元件。
无线通信单元110通常可以包括一个或多个组件,其允许移动终端100与无线通信系统或网络之间的无线电通信。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且,广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供,并且在该情况下,广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在,例如,其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-H)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地,广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H),前向链路媒体(MediaFLO@)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如,接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块115的典型示例是GPS(全球定位系统)。根据当前的技术,GPS计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法,从而根据经度、纬度和高度准确地计算三维当前位置信息。当前,用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外,GPS能够通过实时地连续计算当前位置信息来计算速度信息。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括移动终端121和麦克风122,移动终端121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经移动终端121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送,可以根据移动终端100的构造提供两个或更多移动终端121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风122接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端100的各种操作。用户输入单元130允许用户输入各种类型的信息,并且可以包括键盘、锅仔片、触摸板(例如,检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地,当触摸板以层的形式叠加在显示单元151上时,可以形成触摸屏。
感测单元140检测移动终端100的当前状态,(例如,移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即,触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等,并且生成用于控制移动终端100的操作的命令或信号。例如,当移动终端100实施为滑动型移动电话时,感测单元140可以感测该滑动型电话是打开还是关闭。另外,感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器141。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(UIM)、客户识别模块(SIM)、通用客户识别模块(USIM)等等。另外,具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式,因此,识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
另外,当移动终端100与外部底座连接时,接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端100的路径。从底座输入的各种命令信号或电力可以用作识别移动终端100是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如,音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如,当移动终端100处于电话通话模式时,显示单元151可以显示与通话或其它通信(例如,文本消息收发、多媒体文件下载等等)相关的用户界面(UI)或图形用户界面(GUI)。当移动终端100处于视频通话模式或者图像捕获模式时,显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时,当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时,显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT-LCD)、有机发光二极管(OLED)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为TOLED(透明有机发光二极管)显示器等等。根据特定想要的实施方式,移动终端100可以包括两个或更多显示单元(或其它显示装置),例如,移动终端100可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且,音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外,警报单元153可以以不同的方式提供输出以通知事件的发生。例如,警报单元153可以以振动的形式提供输出,当接收到呼叫、消息或一些其它进入通信(incoming communication)时,警报单元153可以提供触觉输出(即,振动)以将其通知给用户。通过提供这样的触觉输出,即使在用户的移动电话处于用户的口袋中时,用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据(例如,电话簿、消息、静态图像、视频等等)。而且,存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且,移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如,控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外,控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181,多媒体模块181可以构造在控制器180内,或者可以构造为与控制器180分离。控制器180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在控制器180中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器160中并且由控制器180执行。
至此,己经按照其功能描述了移动终端100。另外,本发明实施例中的移动终端100可以是诸如折叠型、直板型、摆动型、滑动型以及其他各种类型的移动终端,具体此处不做限定。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如,由通信系统使用的空中接口包括例如频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)和通用移动通信系统(UMTS)(特别地,长期演进(LTE))、全球移动通信系统(GSM)等等。作为非限制性示例,下面的描述涉及CDMA通信系统,但是这样的教导同样适用于其它类型的系统。
参考图2,CDMA无线通信系统可以包括多个智能终端100、多个基站(BS)270、基站控制器(BSC)275和移动交换中心(MSC)280。MSC 280被构造为与公共电话交换网络(PSTN)290形成接口。MSC 280还被构造为与可以经由回程线路耦接到基站270的BSC 275形成接口。回程线路可以根据若干己知的接口中的任一种来构造,所述接口可以包括例如欧洲标准高容量数字线路/美国标准高容量数字线路(E1/T1)、异步传输模式(ATM),网络协议(IP)、点对点协议(PPP)、帧中继、高速率数字用户线路(HDSL)、非对称数字用户线路(ADSL)或各种类型数字用户线路(xDSL)。将理解的是,如图2中所示的系统可以包括多个BSC 275。
每个BS 270可以服务一个或多个分区(或区域),由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS 270。或者,每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS 270可以被构造为支持多个频率分配,并且每个频率分配具有特定频谱(例如,1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS 270也可以被称为基站收发器子系统(BTS)或者其它等效术语。在这样的情况下,术语"基站"可以用于笼统地表示单个BSC275和至少一个BS 270。基站也可以被称为"蜂窝站"。或者,特定BS 270的各分区可以被称为多个蜂窝站。
如图2中所示,广播发射器(BT)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由BT 295发送的广播信号。在图2中,示出了几个全球定位系统(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中,描绘了多个卫星300,但是理解的是,可以利用任何数目的卫星获得有用的定位信息。如图1中所示的位置信息模块115(如:GPS)通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外,可以使用可以跟踪移动终端的位置的其它技术。另外,至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信系统的一个典型操作,BS 270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站接收的每个反向链路信号被在特定BS 270内进行处理。获得的数据被转发给相关的BSC 275。BSC提供通话资源分配和包括BS 270之间的软切换过程的协调的移动管理功能。BSC 275还将接收到的数据路由到MSC 280,其提供用于与PSTN 290形成接口的额外的路由服务。类似地,PSTN290与MSC 280形成接口,MSC与BSC 275形成接口,并且BSC 275相应地控制BS 270以将正向链路信号发送到移动终端100。
基于上述的移动终端,本发明实施例提供了一种照片合成方法,图3是根据本发明实施例的照片合成方法的流程图,如图3所示,该方法包括以下步骤:
步骤S302,第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;
步骤S304,所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
步骤S306,所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
通过上述步骤,第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄,解决了相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题,通过一个第一移动终端将多个移动终端拍摄的照片进行合成,缩短了照片合成的时间,提高了用户体验。
第一移动终端控制多个第二移动终端,第二移动终端画面内容在第一移动终端中自动拼合,第一移动终端与多个第二移动终端配对绑定(第二移动终端之间没有关系),多个第二移动终端拍摄的内容均传输到第一移动终端上,第一移动终端上自动形成对多个第二移动终端捕捉内容的拼合,拼合形式多样。如一个大风景区,多个第二移动终端分别采集到不同小区域的景色,然后在第一移动终端上形成完整的大风景图。
图4是根据本发明实施例的第一移动终端与第二移动终端连接的示意图,如图4所示,所述第一移动终端与所述多个第二移动终端进行绑定可以包括:所述第一移动终端通过WIFI或局域网与所述多个第二移动终端进行绑定。图5是根据本发明实施例的第一移动终端设置与第二移动终端连接的示意图,如图5所示,移动终端通过设置界面将第一移动终端与多个第二移动终端连接。
所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成可以包括:所述第一移动终端根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
进一步地,所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像可以包括:所述第一移动终端将所述多张图像和所述基础图像转换为俯视视图图像;所述第一移动终端根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;所述第一移动终端根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。利用多移动终端进行局部拍摄,克服了使用一个移动终端拍摄大幅图像的困难,实现了多张具有重叠区域的图像的全景图像合成。
首先输入多个第二移动终端拍摄的对象的多张图像和第一移动终端拍摄的基础图像,计算移动终端内外参数,使用混合误差对移动终端外参数进行优化,根据移动终端内外参数计算出将原照片变换为俯视视图的变换矩阵;其次输入多个移动终端拍摄的待拼接图像,使用计算得到的移动终端参数及变换矩阵将待拼接图像转换为俯视视图图像,根据多个移动终端间的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;最后根据图像间的重叠区域对齐各个图像的对应部分,根据图像全局位置融合各个图像,生成全景拼接图像,利用多个移动终端进行局部拍摄,克服了使用单移动终端拍摄大幅图像的困难,实现了多张具有重叠区域的图像的全景图像合成。具体包括以下步骤:
1)输入多个视点下拍摄的多张图像和基础图像,计算移动终端内参矩阵K,畸变参数Dist_Coeff以及外参数(移动终端旋转R,移动终端平移T)。
图6是根据本发明实施例的照片输入的示意图一,输入图6所示的棋盘格标定板在多个视点下的8张图像,图7是根据本发明实施例的照片输入的示意图二,如图7所示,对输入的标定图像进行角点提取。使用张正友标定法计算移动终端内参(包括畸变系数)及外参,支持移动终端焦距纵横比和畸变系数的定制,并且加入对标定结果的缓存,即当标定文件相同时,不再重新计算。
2)使用混合误差(投影误差和校正误差)对移动终端外参进行优化,投影误差指同一角点在不同视图中的投影位置误差,校正误差为同一角点在极线校正后的左右视图中y方向上的差异,混合误差为两种误差的加权混合。使用用于求解非线性最小二乘的Levenberg‐Marquardt算法作为优化方法,优化后的移动终端外参保存在配置文件中供后续步骤调用。
3)使用标定(优化)得到的移动终端内外参数,计算俯视变换矩阵,俯视变换由三种变换复合而成,分别是:保持移动终端位置不变,仅进行移动终端的旋转;仅进行移动终端的平移;射影移动终端向无穷远移动终端的变换。将三种变换的变换矩阵复合成为一个整体变换矩阵,保存在配置文件中,供后续步骤调用。
4)输入如图3所示的8张待拼接图像,使用步骤3)得到的俯视变换矩阵将待拼接图像变换为俯视视图图像,具体处理过程为:利用移动终端内参对每一张图像做去几何畸变处理,根据移动终端内参和畸变参数,构造畸变消除变换矩阵;使用畸变消除变换矩阵对图像进行校正变换;使用俯视变换矩阵对图像进行俯视变换,保存每一张待拼接图像变换后的俯视视图图像。
5)根据移动终端间的相对位置及变换矩阵计算步骤4)得到的每张俯视视图图像在目标全景图中的全局位置,具体处理过程为:使用移动终端外参数计算俯视变换后的待拼接图像之间的相对平移;使用每一幅俯视图像对应的俯视变换矩阵和相对平移计算待拼接图像的全局位置坐标。
6)根据俯视图像间的重叠区域对齐各个图像的对应部分,利用图像全局位置融合各个图像,使用多波段混合或图像缝合两种方式生成目标全景拼接图像,具体处理过程为:对每一幅俯视图像提取图像特征点与图像特征点描述信息;对两两图像之间进行特征点匹配,通过对齐不同图像上的匹配特征点计算图像的微调矩阵;对每一幅俯视图像应用微调矩阵,完成图像微调变换,对齐各个图像的重叠区域;根据待拼接图像在全景图中的全局位置进行图像的融合,图像融合提供多波段混合和图像缝合两种方式,在图像缝合方式中,图像拼接缝的查找使用动态规划方法实现。
在所述第一移动终端与所述多个第二移动终端进行绑定之后,所述第一移动终端接收设置拍摄参数的设置指令;所述第一移动终端根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。可选的,所述第一移动终端将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置包括:所述第一移动终端向所述多个第二移动终端发送控制设置所述拍摄参数的控制指令,通过所述控制指令控制所述多个第二移动终端完成拍摄参数的设置,其中,所述拍摄参数包括快门值、光圈值和感光度ISO值。控制与终端设备连接的第一移动终端测光及设置其拍摄参数,并作为标准拍摄参数,第一移动终端被设置为自动拍摄模式;分别控制与终端设备连接的多个第二移动终端将其拍摄参数设置为标准拍摄参数,第二移动终端被设置为手动拍摄模式;分别控制第一移动终端和多个第二移动终端在标准拍摄参数下执行拍摄,实现了自动地为多个移动终端设置统一的拍摄参数,避免了拼合成的全景图亮度不统一,照片接缝明显的问题。
根据本发明实施例的另一方面,还提供了一种照片合成装置,应用于照移动终端,图8是根据本发明实施例的照片合成装置的框图,如图8所示,包括:
绑定模块82,用于与多个第二移动终端通过WIFI连接或连接到同一局域网中;
第一接收模块84,用于接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
合成模块86,用于将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
图9是根据本发明优选实施例的照片合成装置的第一框图,如图10所示,合成模块86包括:
获取单元92,用于根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;
合成单元94,用于将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
图10是根据本发明优选实施例的照片合成装置的第二框图,如图10所示,所述合成单元94包括:
转换子单元102,用于将所述多张图像和所述基础图像转换为俯视视图图像;
计算子单元104,用于根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;
生成子单元106,用于根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。
图11是根据本发明优选实施例的照片合成装置的第三框图,如图11所示,所述装置还包括:
第二接收模块112,用于接收设置拍摄参数的设置指令;
设置模块114,用于根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。
可选的,所述设置模块114包括:
控制单元,用于向所述多个第二移动终端发送控制设置所述拍摄参数的控制指令,通过所述控制指令控制所述多个第二移动终端完成拍摄参数的设置,其中,所述拍摄参数包括快门值、光圈值和感光度ISO值。
根据本发明实施例的另一方面,还提供了一种终端,包括上述的装置之一。
本发明实施例,第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄,解决了相关技术中通过单移动终端多次拍摄后合成照片耗时较长的问题,通过一个第一移动终端将多个移动终端拍摄的照片进行合成,缩短了照片合成的时间,提高了用户体验。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例该的方法。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种照片合成方法,其特征在于,包括:
第一移动终端与多个第二移动终端通过WIFI连接或连接到同一局域网中;
所述第一移动终端接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个所述第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
2.根据权利要求1所述的方法,其特征在于,所述第一移动终端将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成包括:
所述第一移动终端根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;
所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
3.根据权利要求2所述的方法,其特征在于,所述第一移动终端将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像包括:
所述第一移动终端将所述多张图像和所述基础图像转换为俯视视图图像;
所述第一移动终端根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;
所述第一移动终端根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述第一移动终端与所述多个第二移动终端进行绑定之后,所述方法还包括:
所述第一移动终端接收设置拍摄参数的设置指令;
所述第一移动终端根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。
5.根据权利要求4所述的方法,其特征在于,所述第一移动终端将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置包括:
所述第一移动终端向所述多个第二移动终端发送控制设置所述拍摄参数的控制指令,通过所述控制指令控制所述多个第二移动终端完成拍摄参数的设置,其中,所述拍摄参数包括快门值、光圈值和感光度ISO值。
6.一种照片合成装置,应用于照移动终端,其特征在于,包括:
绑定模块,用于与多个第二移动终端通过WIFI连接或连接到同一局域网中;
第一接收模块,用于接收所述多个第二移动终端对相同的对象拍摄的多张图像,其中,每个第二移动终端拍摄一张图像,所述多张图像是所述多个第二移动终端拍摄完成后立即发送的;
合成模块,用于将所述多张图像与所述第一移动终端针对所述对象拍摄的基础图像进行合成,其中,所述多个第一移动终端与所述第二移动终端在预定时间之内完成对所述对象的拍摄。
7.根据权利要求6所述的装置,其特征在于,所述合成模块包括:
获取单元,用于根据所述基础图像和预设条件获取每一所述多张图像中的局部图像;
合成单元,用于将获取的所述多张图像的局部图像与所述基础图像合成为所述对象的全景拼接图像。
8.根据权利要求7所述的装置,其特征在于,所述合成单元包括:
转换子单元,用于将所述多张图像和所述基础图像转换为俯视视图图像;
计算子单元,用于根据所述第一移动终端和所述多个第二移动终端的相对位置及变换矩阵计算每张俯视视图图像在全景图中的全局位置;
生成子单元,用于根据图像间的重叠区域对齐每张俯视视图图像的对应部分,根据图像全局位置融合每张俯视视图图像,生成全景拼接图像。
9.根据权利要求6至8中任一项所述的装置,其特征在于,所述装置还包括:
第二接收模块,用于接收设置拍摄参数的设置指令;
设置模块,用于根据所述设置指令设置拍摄参数,并将所述拍摄参数同步到所述多个第二移动终端,控制所述多个第二移动终端完成拍摄参数的设置。
10.一种移动终端,其特征在于,包括权利要求6至9中任一项所述的装置。
CN201611086312.4A 2016-11-30 2016-11-30 一种照片合成方法、装置及移动终端 Pending CN106657620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611086312.4A CN106657620A (zh) 2016-11-30 2016-11-30 一种照片合成方法、装置及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611086312.4A CN106657620A (zh) 2016-11-30 2016-11-30 一种照片合成方法、装置及移动终端

Publications (1)

Publication Number Publication Date
CN106657620A true CN106657620A (zh) 2017-05-10

Family

ID=58813756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611086312.4A Pending CN106657620A (zh) 2016-11-30 2016-11-30 一种照片合成方法、装置及移动终端

Country Status (1)

Country Link
CN (1) CN106657620A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705275A (zh) * 2017-09-08 2018-02-16 维沃移动通信有限公司 一种拍照方法及移动终端
CN110536075A (zh) * 2019-09-20 2019-12-03 上海掌门科技有限公司 视频生成方法和装置
CN111147742A (zh) * 2019-12-29 2020-05-12 张美燕 360度拍照方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090208068A1 (en) * 2008-02-19 2009-08-20 Tsunoda Manabu Imaging apparatus with image transmission/reception function
CN103078924A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 视野共享方法及设备
CN104349025A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种全景图像生成方法、装置和电子设备
CN104796610A (zh) * 2015-04-20 2015-07-22 广东欧珀移动通信有限公司 一种移动终端的摄像头共享方法、装置、系统及移动终端
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090208068A1 (en) * 2008-02-19 2009-08-20 Tsunoda Manabu Imaging apparatus with image transmission/reception function
CN103078924A (zh) * 2012-12-28 2013-05-01 华为技术有限公司 视野共享方法及设备
CN104349025A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种全景图像生成方法、装置和电子设备
CN104796610A (zh) * 2015-04-20 2015-07-22 广东欧珀移动通信有限公司 一种移动终端的摄像头共享方法、装置、系统及移动终端
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705275A (zh) * 2017-09-08 2018-02-16 维沃移动通信有限公司 一种拍照方法及移动终端
CN110536075A (zh) * 2019-09-20 2019-12-03 上海掌门科技有限公司 视频生成方法和装置
CN110536075B (zh) * 2019-09-20 2023-02-21 上海掌门科技有限公司 视频生成方法和装置
CN111147742A (zh) * 2019-12-29 2020-05-12 张美燕 360度拍照方法、装置和计算机设备
CN111147742B (zh) * 2019-12-29 2020-07-14 张美燕 360度拍照方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN106454121A (zh) 双摄像头拍照方法及装置
CN106791455B (zh) 全景拍摄方法及装置
CN106453538A (zh) 屏幕共享装置和方法
CN106686301A (zh) 照片拍摄方法及装置
CN105488756B (zh) 图片合成方法及装置
CN105100642B (zh) 图像处理方法和装置
CN106888349A (zh) 一种拍摄方法及装置
CN106713716A (zh) 一种双摄像头的拍摄控制方法和装置
CN106534590B (zh) 一种照片处理方法、装置及终端
CN106790202A (zh) 一种多媒体文件分享处理方法、装置及终端
CN106851113A (zh) 一种基于双摄像头的拍照方法及移动终端
CN106303229A (zh) 一种拍照方法及装置
CN106534693A (zh) 一种照片处理方法、装置及终端
CN104917965A (zh) 拍摄方法及装置
CN106803879A (zh) 协同取景拍摄装置及方法
CN105187709A (zh) 一种实现异地拍摄的方法及终端
CN105245792A (zh) 一种移动终端和图像拍摄方法
CN108668071A (zh) 一种拍摄方法、装置、系统及一种移动终端
CN106793159A (zh) 一种屏幕投影方法和移动终端
CN106534652A (zh) 一种镜头模组、镜头以及终端
CN106657620A (zh) 一种照片合成方法、装置及移动终端
CN106973226A (zh) 一种拍摄方法及终端
CN106651773A (zh) 图片处理方法及装置
CN107018326A (zh) 一种拍摄方法和装置
CN106791119A (zh) 一种照片处理方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication