CN103458164A - 摄像装置以及摄像方法 - Google Patents

摄像装置以及摄像方法 Download PDF

Info

Publication number
CN103458164A
CN103458164A CN2013102080487A CN201310208048A CN103458164A CN 103458164 A CN103458164 A CN 103458164A CN 2013102080487 A CN2013102080487 A CN 2013102080487A CN 201310208048 A CN201310208048 A CN 201310208048A CN 103458164 A CN103458164 A CN 103458164A
Authority
CN
China
Prior art keywords
mentioned
subject
image
drive division
camera head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013102080487A
Other languages
English (en)
Other versions
CN103458164B (zh
Inventor
久野俊也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN103458164A publication Critical patent/CN103458164A/zh
Application granted granted Critical
Publication of CN103458164B publication Critical patent/CN103458164B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供摄像装置机摄像方法,具备:透镜部;使透镜部围绕沿着与光轴正交的方向的轴而自由转动的透镜驱动部;通过以光轴的朝向相对不同的方式转动了的两个状态的透镜部,取得与使背景相对被摄体的位置关系相异的两个光学像相对应的两个图像信号的摄像元件;和基于所取得的两个图像信号来生成立体视用图像的图像数据的图像生成部。

Description

摄像装置以及摄像方法
本申请主张以2012年5月31日申请的日本国专利申请特愿2012-123868为基础的优先权,并将该基础申请的内容全部引入本申请中。
技术领域
本发明涉及生成立体视用图像(stereoscopic image)的技术。
背景技术
现有技术中,公知有具备以接近人类双眼的间隔配置的两组摄像透镜(imaging lenses),并通过取得具有与人的双眼相同的视差的图像来拍摄3D图像的所谓双眼式摄像装置(例如,JP特开2005-167310号公报)。
此外,还公知以下技术:在单眼式摄像装置中,使装置主体在规定方向上摇摆的期间内,通过高速连拍来取得具有视差的多个图像,从而生成3D图像。
但是,在特开2005-167310号公报中记载的双眼式摄像装置的情况下,不能使框体尺寸小于两组透镜(lens)的间隔,因此便携性降低很多。此外,如果在构成该装置的部件中,价格相对较高的摄像透镜或摄像元件等部件数目增加,则成本会上升。
发明内容
本发明的第1方面相关的摄像装置,具备:摄像透镜;第1驱动部,使上述摄像透镜围绕沿着与光轴正交的第1方向的轴而自由转动;取得部,通过被上述第1驱动部按照光轴的朝向相对不同的方式转动的两个状态的上述摄像透镜,取得与使背景相对于被摄体的位置关系相异的两个光学像相对应的两个图像信号;和生成部,基于由上述取得部所取得的两个图像信号,生成立体视用图像的图像数据。
本发明的第2方面相关的摄像方法,采用了具备摄像透镜、以及使上述摄像透镜围绕沿着与光轴正交的方向的轴而自由转动的驱动部的摄像装置,该摄像方法包括:通过被上述驱动部按照光轴的朝向相对不同的方式转动的两个状态的上述摄像透镜,取得与使背景相对于被摄体的位置关系相异的两个光学像相对应的两个图像信号的步骤;和基于上述两个图像信号来生成立体视用图像的图像数据的步骤。
附图说明
如果将以下的详细记述与以下的附图结合起来考虑,则可得到对本申的更深入的理解。
图1为表示适用了本发明的一实施方式的摄像装置的示意结构的图。
图2A~图2C为示意性表示构成图1的摄像装置的透镜部以及摄像元件的动作的图。
图3为用于说明图2A~图2C的透镜部以及摄像元件的动作的图。
图4为表示图1的摄像装置所执行的摄像处理所涉及的动作的一例的流程图。
图5为用于说明图4的摄像处理的图。
图6A、图6B为用于说明图4的摄像处理中的透镜部以及摄像元件的动作的图。
图7为用于说明图4的摄像处理中的立体视用图像的生成的图。
图8为用于说明图4的摄像处理中的立体视用图像的生成的图。
具体实施方式
以下,参照附图对本发明的具体形式进行说明。其中,发明的范围并不限于图示例。
图1为表示适用了本发明的一实施方式的摄像装置100的示意结构的图。此外,图2A~图2C为示意性表示构成摄像装置100的透镜部1以及摄像元件2的动作的图。
另外,在以下的说明中,将装置主体的露出了透镜部1的面作为前表面,将相反侧的面作为后表面。此外,将与前后方向正交的一方向作为装置主体的左右方向,将与前后方向以及左右方向这两个方向正交的方向作为装置主体的上下方向。
本实施方式的摄像装置100采用具备一组透镜部1以及摄像元件2的所谓单眼式的结构来生成立体视用图像G3(参照图7)的图像数据。具体来说,如图1所示,摄像装置100具备透镜部1、摄像元件2、摄像控制部3、单元电路部4、图像数据处理部5、被摄体距离计算部6、被摄体位置确定部7、记录介质控制部8、显示部9、存储器10、操作输入部11和中央控制部12等。
此外,摄像控制部3、图像数据处理部5、被摄体距离计算部6、被摄体位置确定部7、记录介质控制部8、显示部9、存储器10以及中央控制部12经由总线13而被连接。
透镜部(摄像透镜)1例如具有可变焦透镜、聚焦透镜、光圈等,对通过了这些透镜的被摄体的光学像进行成像。
此外,透镜部1被摄像控制部3的透镜驱动部31a(后述)支撑,由此透镜部1可围绕铅垂轴自由转动(参照图2A~图2C)。
摄像元件2由例如CCD(Charge Coupled Device,电荷耦合元件)或CMOS(Complementary Metal-oxide Semiconductor,互补金属氧化物半导体)等图像传感器构成,将透过了透镜部1的各种透镜的光学像变换为二维图像信号并输出到单元电路部4。
此外,摄像元件2被摄像控制部3的元件驱动部32a(后述)支撑,由此摄像元件2可在水平方向上自由移动(参照图2A~图2C)。
摄像控制部3基于来自中央控制部12的指令而进行拍摄时,控制透镜部1、摄像元件2等的动作。即,摄像控制部3控制用于使透镜部1的可变焦透镜或聚焦透镜等在光轴上移动的透镜电机(省略图示)的驱动,或者控制对摄像元件2进行扫描驱动的定时。
此外,摄像控制部3具备透镜动作控制部31和摄像元件动作控制部32,控制与立体视用图像G3的图像数据的生成相关的、使背景B(参照图5)相对于被摄体A(参照图5)的位置关系不同的两个图像G1、G2的摄像。
透镜动作控制部31控制透镜部1的动作。具体地,透镜动作控制部31具备透镜驱动部31a和第1控制部31b。
透镜驱动部31a作为第1驱动部而构成为可使透镜部1围绕铅垂轴(沿着与光轴正交的第1正交方向的轴)自由转动。即,透镜驱动部31a使透镜部1在观察立体视用图像G3的人的双眼的视差方向、围绕与光轴大致正交的铅垂轴在一方向(例如顺时针等)、以及与该一方向相反的另一方向(例如逆时针等)中的至少一个方向上自由转动。
在此,在将该装置主体构筑成横向拍摄的状态的情况下,由于装置主体的上下方向成为铅垂方向,因此左右方向成为视差方向(参照图2A等),而在将该装置主体构筑成纵向拍摄的状态的情况下,由于装置主体的左右方向成为铅垂方向,因此上下方向成为视差方向(省略图示)。另外,作为铅垂方向(与光轴正交的第1正交方向)而例示的该装置主体的上下方向或左右方向只是一例,并不限于该例,例如,在将装置主体构筑为横向拍摄或纵向拍摄以外的状态的情况下,还有相对于该装置主体的上下方向或左右方向倾斜的方向成为铅垂方向的情况。
此外,透镜驱动部31a例如具备电机(驱动源)或凸轮(动力传递机构)等,构成与透镜单元摇摆方式的手抖校正机构大致相同的结构。即,透镜驱动部31a构成与以下两个手抖校正机构分别大致相同的结构,即,以与装置主体的上下方向大致平行地延伸的旋转轴为中心的偏转(yawrotation)的手抖校正机构、以及以与装置主体的左右方向大致平行地延伸的旋转轴为中心的俯仰旋转(pitch rotation)的手抖校正机构。在此,透镜单元摇摆方式的手抖校正机构是公知的技术,因此省略其详细的说明,在透镜部1的前后方向以及左右方向的大致中心部设有上下方向的旋转轴1a(参照图2A等),在透镜部1的前后方向以及上下方向的大致中心部设有左右方向的旋转轴(省略图示)。
另外,在透镜部1由多个透镜构成的情况下,透镜驱动部31a也可以构成为使这些所有透镜自由转动,也可以构成为使多个透镜中的至少任一个透镜自由转动。
第1控制部31b控制透镜驱动部31a执行的透镜部1围绕铅垂轴的转动。
即,第1控制部31b作为第1控制部,以装置主体与被摄体A之间的距离作为基准,对透镜驱动部31a执行的透镜部1围绕铅垂轴沿一方向以及另一方向中的至少一个方向上的转动量进行调整。即,第1控制部31b通过透镜驱动部31a使透镜部1围绕铅垂轴沿一方向以及另一方向转动,由此使透镜部1的光轴的朝向相对地不同。并且,按照使光轴的朝向相对地不同的方式转动了的两个状态的透镜部1,连接使背景B相对于被摄体A的位置关系不同的两个光学像。
具体来说,第1控制部31b按照由被摄体距离计算部6计算出的被摄体距离的大小,改变透镜驱动部31a对电机(驱动源)的控制,从而调整透镜部1围绕铅垂轴的转动量。
例如,第1控制部31b控制透镜驱动部31a的电机以使被摄体距离越远则透镜部1的转动量就越小,另一方面,控制透镜驱动部31a的电机以使被摄体距离越近则透镜部1的转动量就越大(参照图3)。
此外,第1控制部31b将存在于视角内的被摄体A的位置为基准,对透镜驱动部31a执行的透镜部1围绕铅垂轴沿一方向以及另一方向中的至少一个方向上的转动量进行调整。即,第1控制部31b按照由被摄体位置确定部7确定的被摄体位置,改变透镜驱动部31a对电机(驱动源)的控制,从而调整透镜部1围绕铅垂轴的转动量。
具体来说,例如,当被摄体A存在于视角内的大致中央部的情况下,第1控制部31b控制透镜驱动部31a,以使透镜部1围绕铅垂轴的一方向以及另一方向的转动量大致相等。另一方面,例如,当被摄体A从视角内的大致中央部向规定方向(例如右方向等)偏离而存在的情况下,第1控制部31b控制透镜驱动部31a,以使透镜部1在摄像元件2侧的部分沿着被摄体A偏离的方向转动的朝向上的该透镜部1的转动量相对地大于透镜部1向相反方向的转动量。
摄像元件动作控制部32控制摄像元件2的动作。具体来说,摄像元件动作控制部32具备元件驱动部32a和第2控制部32b。
元件驱动部32a作为第2驱动部而构成为,摄像元件2在与铅垂方向正交的水平方向(与光轴以及第1正交方向正交的第2正交方向)上自由移动。即,元件驱动部32a使摄像元件2在与观察立体视用图像G3的人的双眼的视差方向大致平行的水平方向上自由地进行往返移动。
在此,当将该装置主体构筑为横向拍摄的状态的情况下,装置主体的左右方向成为水平方向(视差方向)(参照图2A等),另一方面,当将该装置主体构筑为纵向拍摄的状态的情况下,装置主体的上下方向成为水平方向(视差方向)(省略图示)。另外,作为水平方向(与光轴以及第1正交方向正交的第2正交方向)而例示的该装置主体的左右方向或上下方向只是一例,并不限于此,例如,在将装置主体构筑为横向拍摄或纵向拍摄以外的状态的情况下,水平方向也随着上述的铅垂方向(与光轴正交的第1正交方向)而发生变化。
此外,元件驱动部32a具备例如电机(驱动源)或凸轮(动力传递机构)等,构成与摄像元件移位方式的手抖校正机构大致相同的结构。即,元件驱动部32a构成与以下两个并进抖动校正机构分别大致相同的结构,即,使摄像元件2在与装置主体的上下方向大致平行的方向上移动的上下方向的并进抖动校正机构、以及使摄像元件2在与装置主体的左右方向大致平行的方向上移动的左右方向的并进抖动校正机构。在此,摄像元件移位方式的手抖校正机构为公知的技术,因此省略其详细的说明。
第2控制部32b控制元件驱动部32a执行的摄像元件2的水平方向的移动。
即,第2控制部32b作为第2控制部,通过元件驱动部32a使摄像元件2在与因透镜驱动部31a执行的透镜部1的转动而该透镜部1的光轴偏离的方向大致相同的方向上移动。即,第2控制部32b通过元件驱动部32a,使摄像元件2在与透镜部1的光轴偏离的方向大致相同的方向上移动,从而在比摄像元件2的摄像区域更靠近中央部的部分,对使背景B相对于被摄体A的位置关系相异的两个光学像进行成像。
具体来说,第2控制部32b通过元件驱动部32a使摄像元件2移动,以使追踪通过透镜部1的转动而位移的光轴。例如,当将该装置主体构筑为横向拍摄的状态的情况下,透镜部1进行转动,使得该透镜部1的光轴相对于基准位置(参照图2A)而向水平方向的一侧(例如左侧)偏离时,第2控制部32b通过元件驱动部32a使摄像元件2向同方向移动(参照图2B)。另一方面,例如,在透镜部1进行转动,使得该透镜部1的光轴相对于基准位置(参照图2A)而向水平方向的另一侧(例如右侧)偏离时,第2控制部32b通过元件驱动部32a使摄像元件2向同方向移动(参照图2C)。
另外,虽然省略了图示,但在将该装置主体构筑为纵向拍摄的状态的情况下,也与上述情况相同,第2控制部32b通过元件驱动部32a使摄像元件2在水平方向上移动,以使追踪位移的光轴。
此外,第2控制部32b以装置主体与被摄体A之间的距离为基准,调整元件驱动部32a执行的摄像元件2在水平方向上的移动量。具体来说,第2控制部32b按照由被摄体距离计算部6计算出的被摄体距离的大小,改变元件驱动部32a对电机(驱动源)的控制,从而调整摄像元件2在水平方向上的移动量。
例如,第2控制部32b按照被摄体距离越远则摄像元件2的移动量就越小的方式控制元件驱动部32a的电机,另一方面,按照被摄体距离越近则摄像元件2的移动量就越大的方式控制元件驱动部32a的电机(参照图3)。
此外,第2控制部32b以存在于视角内的被摄体A的位置为基准,调整元件驱动部32a执行的摄像元件2在水平方向上的移动量。具体来说,第2控制部32b按照由被摄体位置确定部7确定的被摄体位置,改变元件驱动部32a对电机(驱动源)的控制,从而调整摄像元件2在水平方向上的移动量。
即,例如,在被摄体A存在于视角内的大致中央部的情况下,第2控制部32b控制元件驱动部32a,以使摄像元件2在水平方向的一方向以及另一方向上的移动量大致相等。另一方面,例如,当被摄体A从视角内的大致中央部向规定方向(例如右方向等)偏离而存在的情况下,第2控制部32b控制元件驱动部32a,以使摄像元件2相对于被摄体A偏离的方向上的移动量相对地大于摄像元件2向相反方向(例如左方向等)的移动量。
并且,摄像控制部3对扫描驱动摄像元件2的定时进行控制,使该摄像元件(取得部)2分别取得与使背景B相对于被摄体A的位置关系相异的两个光学像相对应的两个图像信号。
即,透镜动作控制部31的第1控制部31b通过透镜驱动部31a使透镜部1围绕铅垂轴在一方向上转动,且在摄像元件动作控制部31的第2控制部32b通过元件驱动部32a使摄像元件2在与透镜部1的光轴偏离的方向大致相同的方向上(使得追踪位移的光轴)移动的状态下,摄像控制部3对摄像元件2进行扫描驱动,取得与背景B相对于被摄体A而具有一个位置关系的一个光学像相对应的一个图像信号(参照图6A)。由此,不会使该装置主体相对于被摄体A而相对地向左侧位移,可拍摄从左侧观察被摄体A的状态的图像G1。
接下来,透镜动作控制部31的第1控制部31b通过透镜驱动部31a使透镜部1围绕铅垂轴在另一方向上转动,且摄像元件动作控制部32的第2控制部32b通过元件驱动部32a使摄像元件2在与透镜部1的光轴偏离的方向大致相同的方向上移动的状态下,摄像控制部3对摄像元件2进行扫描驱动,取得与背景B相对于被摄体A而具有其他位置关系的其他光学像相对应的其他图像信号(参照图6B)。由此,不会使该装置主体相对于被摄体A相对地向右侧位移,可拍摄从右侧观察被摄体A的状态的图像G2。
虽然省略了图示,但单元电路部4例如具备CDS(Correlated DoubleSampling)、AGC(Auto Gain Control)、ADC(Analog to Digital Converter)等。并且,单元电路部4中,由CDS保持从摄像元件2输出后被输入的模拟图像信号,将该图像信号通过AGC放大之后,将被放大的图像信号通过ADC而变换为数字图像信号。
图像数据处理部5对A/D变换后的图像信号,执行生成每个像素的R、G、B颜色成分数据(RGB数据)的RGB插值处理、根据RGB数据按每个像素生成由亮度信号(Y)和色差信号(U、V)构成的YUV数据的YUV变换处理、以及自动白平衡或轮廓强调等用于进一步提高图像品质的数字信号处理。并且,图像数据处理部5将变换后的各帧图像的YUV数据依次输出到存储器10,并保存于该存储器10中。
此外,在记录图像时,图像数据处理部5按照规定的编码方式(例如JPEG形式、运动JPEG形式、MPEG形式等)压缩YUV数据,并输出到记录介质控制部8。
此外,在对图像进行再生显示的情况下,图像数据处理部5通过记录介质控制部8按照对应的规定的编码方式,对从记录介质M读出的与显示对象相关的静止图像或运动图像的图像数据进行解码,并输出到显示控制部9b。此时,图像数据处理部5也可以基于例如显示面板9a的显示分辨率等,将读出的图像数据缩小到规定尺寸(例如VGA或QVGA尺寸)后输出到显示控制部9b。
此外,图像数据处理部5具备生成立体视用图像G3的图像数据的图像生成部5a。
图像生成部5a作为生成部而基于摄像元件2取得的两个图像信号,生成立体视用图像G3的图像数据。即,图像生成部5a基于根据与使背景B相对于被摄体A的位置关系不同的两个光学像相对应的两个图像信号而生成的两个图像G1、G2的YUV数据,生成依照立体视用图像G3的规定的格式的图像数据(参照图7等)。此时,在立体视用图像G3的生成中所采用的两个图像G1、G2的YUV数据是在以被摄体距离或被摄体位置为基准调整了透镜部1围绕铅垂轴在一方向或另一方向上的转动量的状态下拍摄的,因此图像生成部5a按照被摄体A的位置相重合的方式合成上述两个图像G1、G2的YUV数据,从而能够对立体视用图像G3赋予适当的3D效应。
另外,立体视用图像G3的大小是以两个图像G1、G2的YUV数据内的被摄体A的位置为基准来决定的。即,只有两个图像G1、G2的YUV数据中共同包含的区域成为立体视用图像G3中的被摄体A以外的区域。因此,在使摄像元件2沿着水平方向移动来使其追踪透镜部1的位移的光轴时,立体视用图像G3在水平方向上的大小(立体视用图像G3中的被摄体A以外的区域)变大(参照图7),而在不使摄像元件2沿水平方向移动的情况下,立体视用图像G3在水平方向上的大小变小(参照图8)。
此外,图7或图8例示的立体视用图像G3只是一例,并不限于该例,只要是与显示器或投影仪等的显示形式相对应的图像数据,则都可适当地任意变更。
被摄体距离计算部6计算出装置主体与被摄体A之间的被摄体距离。
具体来说,被摄体距离计算部6在例如通过自动对焦处理与图像内的被摄体A对焦了的状态下,从摄像控制部3的对焦控制部(省略图示)取得与聚焦透镜的光轴方向的位置相对应的透镜位置信息,并基于该透镜位置信息采用规定的换算部(例如换算程序或换算表格等)计算出被摄体距离。
被摄体位置确定部7在视角内确定被摄体A存在的被摄体位置。
具体来说,被摄体位置确定部7在例如通过自动对焦处理与图像内的被摄体A对焦了的状态下,以由互相正交的两个轴(例如x轴、y轴等)规定的二维平面空间内的规定位置(例如左上角部等)为基准,确定被摄体A的规定部分(例如大致中央部等)的坐标位置(x,y)作为被摄体位置。
记录介质控制部8以能够自由装卸的方式构成了例如非易失性存储器(闪存)等记录介质M,控制从所装载的记录介质M读出数据或对记录介质M写入数据。
即,记录介质控制部8使记录介质M的规定的记录区域记录通过图像数据处理部5的编码部(省略图示)以规定的压缩形式(例如,JPEG形式、运动JPEG形式、MPEG形式等)进行了编码的记录用的图像数据。
显示部9具备显示面板9a和显示控制部9b。
显示面板9a在显示区域内显示图像。此外,作为显示面板9a列举了例如液晶显示面板或有机EL显示面板等,但这只是一例,并不限于该例。
显示控制部9b基于从记录介质M读出并由图像数据处理部5进行解码后的规定尺寸的图像数据,执行使规定的图像显示于显示面板9a的显示画面中的控制。具体来说,显示控制部9b具备VRAM(Video RandomAccess Memory)、VRAM控制器、数字视频编码器等。而且,数字视频编码器经由VRAM控制器从VRAM以规定的再生帧速率(例如60fps)读出由图像数据处理部5解码并存储于VRAM(省略图示)中的亮度信号Y以及色差信号Cb、Cr。
此外,显示控制部9b在显示立体视用图像G3的情况下,也可以以规定的时间间隔交替地切换显示右眼用的图像和左眼用的图像。
存储器10具备例如暂时记录图像数据等的缓冲存储器、中央控制部12等工作存储器、保存了与该摄像装置100的功能相关的各种程序或数据的程序存储器等(均省略图示)。
操作输入部11用于执行该摄像装置100的规定操作。具体来说,操作输入部11具备例如与装置主体的电源的接通/断开相关的电源按钮、与被摄体A的摄像指示相关的快门按钮、与摄像模式或功能等选择指示相关的选择决定按钮、与变焦量的调整指示相关的变焦按钮(均省略图示)等操作部。而且,操作输入部11按照用户对操作部的各按钮的规定操作,将规定的操作信号输出到中央控制部12。
中央控制部12由具备例如控制摄像装置100的各部分的CPU的单片机等构成。
此外,中央控制部12基于从操作输入部11输出并被输入的操作信号,控制摄像装置100的各部分。具体来说,如果输入了按照操作输入部11的快门按钮的规定操作而输出的摄像指示信号,则中央控制部12的CPU按照程序存储器中存储的规定程序,通过摄像控制部3控制摄像元件2的驱动定时并执行拍摄静止图像的处理。由图像数据处理部5通过JPEG方式等对通过该静止图像的拍摄而保存于缓冲存储器中的1帧的YUV数据进行压缩并进行编码,在记录介质M中作为静止图像数据来记录。
接下来,参照附图4~8对摄像装置100所执行的摄像处理进行说明。
图4为表示与摄像处理相关的动作的一例的流程图。图5为用于说明摄像处理的图,图6A以及图6B为用于说明摄像处理中透镜部1以及摄像元件2的动作的图。此外,图7以及图8为用于说明摄像处理中立体视用图像G3的生成的图。
另外,在图6A、图6B、图7以及图8中示意性表示图5所示的被摄体A以及背景B。
在通过以下说明的摄像处理生成立体视用图像G3的情况下,与将装置主体构筑为横向拍摄的状态还是纵向拍摄的状态无关地,优选以被摄体A存在于视角内的大致中央部这样的构图进行拍摄。
如图4所示那样,首先,中央控制部12的CPU判定是否输入了基于用户对操作输入部11的快门按钮的规定操作而输出的摄像信号(步骤S1)。以规定的时间间隔反复执行步骤S1中的是否输入了摄像指示的判定,直到判定为输入了该摄像指示为止(步骤S1:“是”)。
在步骤S1中,如果判定为输入了摄像指示(步骤S1:“是”),则图像数据处理部5执行自动对焦处理来检测聚焦对象的被摄体A(步骤S2)。具体来说,图像数据处理部5通过例如脸部检测处理、边缘检测处理、特征提取处理等各种图像处理,提取成为被摄体A的候补的图像区域(候补区域),将在所提取的候补区域中满足规定的识别条件的部分作为被摄体A来检测。
接下来,被摄体距离计算部6计算出该装置主体与被摄体A之间的被摄体距离(步骤S3)。具体来说,被摄体距离计算部6基于与聚焦透镜的光轴方向的位置相对应的透镜位置信息,利用规定的换算部(例如换算程序或换算表格等)计算出被摄体距离。
接下来,被摄体位置确定部7确定视角内被摄体A存在的被摄体位置(步骤S4)。具体来说,被摄体位置确定部7以二维平面空间内的规定位置(例如左上角部等)为基准,确定被摄体A的大致中央部的坐标位置(x,y)作为被摄体位置。
另外,被摄体距离的计算处理以及被摄体位置的确定处理的顺序只是一例,并不限于该例子,反过来也可以。
接下来,透镜动作控制部31的第1控制部31b以被摄体距离或被摄体位置为基准,计算出透镜驱动部31a所执行的透镜部1围绕铅垂轴在一方向以及另一方向上的转动量(步骤S5)。即,第1控制部31b计算出用于拍摄从左侧观察被摄体A的状态的图像G1或从右侧观察被摄体A的状态的图像G2的透镜部1围绕铅垂轴在一方向以及另一方向上的转动量。
接下来,摄像元件动作控制部32的第2控制部32b将被摄体距离或被摄体位置作为基准,计算出元件驱动部32a所执行的摄像元件2在水平方向的各方向上的移动量(步骤S6)。即,第2控制部32b计算出通过元件驱动部32a使摄像元件2在水平方向的各方向上移动时的移动量,以使追踪因透镜部1的转动而发生了位移的光轴,该透镜部1用于拍摄从左侧观察被摄体A的状态下的图像G1或从右侧观察被摄体A的状态下的图像G2。
接下来,第1控制部31b按照计算出的转动量,通过透镜驱动部31a使透镜部1围绕铅垂轴在一方向上转动,并且第2控制部32b按照计算出的移动量,通过元件驱动部32a使摄像元件2在与透镜部1的光轴偏离的方向大致相同的方向上移动(步骤S7),在该状态下,摄像控制部3对摄像元件2进行扫描驱动,拍摄与从左侧观察被摄体A的状态下的图像(第一幅图像)G1相对应的一个图像信号(步骤S8;参照图6A)。而且,图像数据处理部5将与从左侧观察被摄体A的状态相对应的第一幅图像G1的图像信号变换为数字图像信号来生成该图像G1的YUV数据。
接下来,第1控制部31b按照计算出的转动量,通过透镜驱动部31a使透镜部1围绕铅垂轴在另一方向上转动,并且第2控制部32b按照计算出的移动量,通过元件驱动部32a使摄像元件2在与透镜部1的光轴偏离的方向大致相同的方向上移动(步骤S9),在该状态下,摄像控制部3对摄像元件2进行扫描驱动,拍摄与从右侧观察被摄体A的状态下的图像(第二幅图像)G2相对应的一个图像信号(步骤S10;参照图6B)。而且,图像数据处理部5将与从右侧观察被摄体A的状态相对应的第二幅图像G2的图像信号变换为数字图像信号来生成该图像G2的YUV数据。
另外,从左侧观察被摄体A的状态下的图像G1的摄像处理以及从右侧观察被摄体A的状态下的图像G2的摄像处理的顺序只是一例,并不限于该例,反过来也可以。
接下来,图像数据处理部5的图像生成部5a基于与从左侧观察被摄体A的状态相对应的第一幅图像G1、以及从右侧观察被摄体A的状态相对应的第二幅图像G2的YUV数据,生成立体视用图像G3的图像数据(步骤S11;参照图7)。
并且,记录介质控制部8通过图像数据处理部5的编码部生成以规定的压缩形式编码的立体视用图像G3的图像数据的规定形式(例如Exif形式等)的文件,并将其记录到记录介质M中(步骤S12)。
由此,结束摄像处理。
如以上所述,根据本实施方式的摄像装置100,通过以光轴的朝向相对不同的方式围绕与观察立体视用图像G3的人的双眼的视差方向大致正交的铅垂轴转动的两个状态的透镜部1,基于与使背景B相对于被摄体A的位置关系不同的两个光学像相对应的两个图像信号(通过摄像元件2进行了光电变换的两个图像信号),生成立体视用图像G3的图像数据,因此,采用具备一组透镜部1以及摄像元件2的单眼式的结构,不会使该装置主体相对于被摄体A而相对位移,且通过一次摄像指示,能够取得与使被摄体B相对背景A的位置关系不同的两个光学像相对应的两个图像信号。进而,在立体视用图像G3的图像数据的生成中不需要特殊的构造,能够实现成本降低。
即,例如,与双眼式摄像装置相比,不仅能够减小该装置主体的框体尺寸,而且能够削减价格相对高的透镜部1和摄像元件2等的部件个数。此外,若是双眼式摄像装置,则必须将该装置主图构筑成透镜部1的配置方向和人的双眼的视差方向成为相同的方向从而进行拍摄,但若是本实施方式的摄像装置100,则由于使透镜部1围绕铅垂轴自由转动,因此能够消除横向拍摄或纵向拍摄这样的该装置主体的构筑方式、即构图的制约。此外,不会如例如能生成立体视用图像G3的现有技术中的单眼式摄像装置那样,只能在非常有限的条件或环境下进行拍摄。
因此,采用单眼式结构的摄像装置100,能够简便且廉价地执行立体视用图像G3的图像数据的生成。
此外,将装置主体与被摄体A之间的距离(被摄体距离)或存在于视角内的被摄体A的位置(被摄体位置)作为基准,调整透镜部1围绕铅垂轴在一方向以及另一方向中的至少一个方向上的转动量,因此即使被摄体距离或被摄体位置产生变化,也能对立体视用图像G3赋予适当的3D效应。此外,能够在将被摄体距离或被摄体位置作为基准而调整了透镜部1围绕铅垂轴在一方向或另一方向上的转动量的状态下拍摄在立体视用图像G3的生成中所使用的两个图像G1、G2,通过以被摄体A的位置重合的方式合成这两个图像G1、G2,从而能够对立体视用图像G3赋予适当的3D效应,能够更简便地执行立体视用图像G3的图像数据的生成。
进而,在与因透镜部1的转动而该透镜部1的光轴偏离的方向大致相同的方向上,使摄像元件2在水平方向上移动,因此能够使将背景B相对被摄体A的位置关系设得不同的两个光学像在比摄像元件2的摄像区域更靠近中央部分的部分中成像,能够使基于与上述两个光学像相对应的图像信号生成的立体视用图像G3的水平方向的大小更大。
尤其是,将装置主体和被摄体A之间的距离(被摄体距离)或存在于视角内的被摄体A的位置(被摄体位置)作为基准,调整摄像元件2的水平方向的移动量,因此即使透镜部1的转动量按照被摄体距离或被摄体位置的变化而产生了变化的情况下,也能通过元件驱动部32a使摄像元件2移动以追踪该透镜部1的产生了位移的光轴,能够使将背景B相对被摄体A的位置关系设得不同的两个光学像在比摄像元件2的摄像区域更靠近中央部的部分中成像。
另外,本发明并不限于上述实施方式,在不脱离本发明的主旨的范围内,可进行各种改良以及设计的变更。
例如,在上述实施方式中,将立体视用图像G3作为静止图像来生成了图像数据,但也可生成相隔规定的时间间隔而排列立体视用图像G3的帧图像后得到的运动图像的图像数据。此时,与上述实施方式同样地,以被摄体距离或被摄体位置为基准,通过按各帧图像调整透镜部1围绕铅垂轴在一方向或另一方向上的转动量,从而即使由于被摄体A和该装置主体之间的相对位置的连续位移而导致被摄体距离或被摄体位置连续变化,也能对作为运动图像的立体视用图像G3赋予适当的3D效应。
此外,在上述实施方式中,以被摄体距离或被摄体位置为基准进行了透镜部1的转动量的调整,但这只是一个例子,并不限于该例子,不需要一定是以被摄体距离或被摄体位置为基准。即,是否具备被摄体距离计算部6或被摄体位置确定部7是可以适当地任意变更的。
进而,在上述实施方式中,在与因透镜部1的转动而该透镜部1的光轴偏离的方向大致相同的方向上,使摄像元件2在水平方向上进行了移动,但这只是一例,并不限于该例,是否使摄像元件2移动是可以适当地任意变更的。
此外,同样地,以被摄体距离或被摄体位置为基准来执行了摄像元件2的移动量的调整,但这只是一例,并不限于该例子,不需要一定是以被摄体距离或被摄体位置为基准。
此外,在上述实施方式中,转动了透镜部1,但也可例如使容纳该透镜部1的镜筒本身转动。
进而,在上述实施方式中,例示了通过透镜动作控制部31使透镜部1围绕铅垂轴在一方向以及另一方向这两个方向上自由转动的结构,但这只是一例,并不限于该例,不需要一定是在两个方向上自由转动。即,例如也可以是如下结构:在拍摄从左右中的一侧观察被摄体A的状态下的图像G1之后,通过透镜动作控制部31使透镜部1围绕铅垂轴在规定的一个方向转动,然后拍摄从左右中的另一侧观察被摄体A的状态下的图像G2。
同样地,例示了通过摄像元件动作控制部32使摄像元件2在水平方向的两个方向上自由移动自在的结构,但这只是一例,并不限定于此,不需要一定是在两个方向上自由移动。即,例如也可以是如下结构:在拍摄从左右中的一侧观察被摄体A的状态下的图像G1之后,与透镜部1的转动一起通过摄像元件动作控制部32使摄像元件2在水平方向的规定的一个方向上移动,由此拍摄从左右的另一侧观察被摄体A的状态下的图像G2。
此外,对于摄像装置100的结构而言,上述实施方式中例示的内容只是一例,并不限于例示的内容。例如也可以是如下结构:通过在透镜部1不转动的摄像装置100的该透镜部1的前侧装载具备与本发明相关的自由转动的透镜的转换器(converter),从而能生成立体视用图像G3的图像数据。
进而,例如,在不使摄像元件2沿着水平方向移动以追踪透镜部1的产生了位移的光轴的情况下(参照图8),摄像元件动作控制部32也可使摄像元件2进行动作以补偿摄像时的手抖动。
除此之外,上述实施方式是如下结构:在中央控制部12的控制下通过摄像元件2、图像数据处理部5被驱动来实现作为取得部、生成部的功能,但并不限于该结构,也可以是通过由中央控制部12的CPU执行规定的程序等来实现的结构。
即,在存储程序的程序存储器(省略图示)中预先存储包括取得处理例行程序(routine)、生成处理例行程序在内的程序。而且,也可通过取得处理例行程序,使中央控制部12的CPU起到如下取得部的作用,该取得部,通过被第1驱动部按照光轴的朝向相对不同的方式转动的两个状态的摄像透镜,取得与使背景B相对于被摄体A的位置关系相异的两个光学像相对应的两个图像信号。此外,也可通过生成处理例行程序,使中央控制部12的CPU起到生成部的作用,该生成部基于由取得部所取得的两个图像信号来生成立体视用图像G3的图像数据。
进而,作为保存有用于执行上述各处理的程序的计算机可读取的介质,除了ROM或硬盘等之外,还可以适用闪存等非易失性存储器、CD-ROM等可移动型记录介质。此外,作为经由规定的通信线路提供程序数据的介质,也可适用载波(carrier wave)。
以上说明了本发明的几个实施方式,但本发明的范围并不限于上述实施方式,包括权利要求书中记载的发明的范围及其同等的范围。

Claims (8)

1.一种摄像装置,具备:
摄像透镜;
第1驱动部,使上述摄像透镜围绕沿着与光轴正交的第1方向的轴而自由转动;
取得部,通过被上述第1驱动部按照光轴的朝向相对不同的方式转动的两个状态的上述摄像透镜,取得与使背景相对于被摄体的位置关系相异的两个光学像相对应的两个图像信号;和
生成部,基于由上述取得部所取得的两个图像信号,生成立体视用图像的图像数据。
2.根据权利要求1所述的摄像装置,其中,
所述摄像装置还具备:第1控制部,以该摄像装置的主体与上述被摄体之间的距离为基准,调整由上述第1驱动部引起的上述摄像透镜围绕沿着上述第1方向的轴而在一方向以及另一方向中的至少一个方向上的转动量。
3.根据权利要求2所述的摄像装置,其中,
上述第1控制部还以存在于视角内的上述被摄体的位置为基准,调整由上述第1驱动部引起的上述摄像透镜在上述一方向以及上述另一方向中的至少一个方向上的转动量。
4.根据权利要求1所述的摄像装置,其中,
上述取得部具有对上述两个光学像的每一个光学像进行光电变换而生成上述两个图像信号的摄像元件。
5.根据权利要求4所述的摄像装置,其中,
所述摄像装置还具备:第2驱动部,使上述摄像元件在与上述光轴以及上述第1方向正交的第2方向上自由移动;和
第2控制部,通过上述第2驱动部,使上述摄像元件在与因上述第1驱动部所执行的上述摄像透镜的转动而使该摄像透镜的光轴偏离的方向大致相同的方向上移动。
6.根据权利要求5所述的摄像装置,其中,
上述第2控制部还以该摄像装置的主体与上述被摄体之间的距离为基准,调整由上述第2驱动部引起的上述摄像元件的移动量。
7.根据权利要求5所述的摄像装置,其中,
上述第2控制部还以存在于视角内的上述被摄体的位置为基准,调整由上述第2驱动部引起的上述摄像元件的移动量。
8.一种摄像方法,采用了具备摄像透镜、以及使上述摄像透镜围绕沿着与光轴正交的方向的轴而自由转动的驱动部的摄像装置,该摄像方法包括:
通过被上述驱动部按照光轴的朝向相对不同的方式转动的两个状态的上述摄像透镜,取得与使背景相对于被摄体的位置关系相异的两个光学像相对应的两个图像信号的步骤;和
基于上述两个图像信号来生成立体视用图像的图像数据的步骤。
CN201310208048.7A 2012-05-31 2013-05-30 单眼式摄像装置以及摄像方法 Expired - Fee Related CN103458164B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012123868A JP5889719B2 (ja) 2012-05-31 2012-05-31 撮像装置、撮像方法及びプログラム
JP2012-123868 2012-05-31

Publications (2)

Publication Number Publication Date
CN103458164A true CN103458164A (zh) 2013-12-18
CN103458164B CN103458164B (zh) 2017-03-01

Family

ID=49669759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310208048.7A Expired - Fee Related CN103458164B (zh) 2012-05-31 2013-05-30 单眼式摄像装置以及摄像方法

Country Status (3)

Country Link
US (1) US9621873B2 (zh)
JP (1) JP5889719B2 (zh)
CN (1) CN103458164B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507846A (zh) * 2015-06-23 2019-03-22 台湾东电化股份有限公司 摄影模块

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017051407A1 (en) * 2015-09-21 2017-03-30 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-d image
CN208579746U (zh) * 2018-06-15 2019-03-05 杭州海康机器人技术有限公司 3d信息检测设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630446A (ja) * 1992-07-13 1994-02-04 Ricoh Co Ltd 立体画像記録装置
CN101588512A (zh) * 2009-01-07 2009-11-25 深圳市掌网立体时代视讯技术有限公司 一种立体摄像装置及方法
JP2010041381A (ja) * 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
JP2010166229A (ja) * 2009-01-14 2010-07-29 Fujifilm Corp 立体撮像装置
US20110279654A1 (en) * 2010-05-14 2011-11-17 Panasonic Corporation Camera body, imaging device, method for controlling camera body, program, and storage medium storing program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03185996A (ja) * 1989-12-14 1991-08-13 Konica Corp 立体映像用ビデオカメラ
JPH0767022A (ja) 1993-08-26 1995-03-10 Canon Inc 複眼撮像装置
JPH10155104A (ja) 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JPH11231371A (ja) * 1998-02-19 1999-08-27 Aiphone Co Ltd カメラパンチルト構造
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP2006154800A (ja) * 2004-11-08 2006-06-15 Sony Corp 視差画像撮像装置および撮像方法
JP2010210691A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp 立体撮像装置
US7933512B2 (en) * 2009-03-24 2011-04-26 Patrick Campbell Stereo camera with controllable pivot point
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2011119995A (ja) 2009-12-03 2011-06-16 Fujifilm Corp 立体撮像装置及び立体撮像方法
JP2011205385A (ja) 2010-03-25 2011-10-13 Panasonic Corp 立体映像制御装置および立体映像制御方法
JP5641200B2 (ja) * 2010-05-28 2014-12-17 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体
JP5627930B2 (ja) 2010-05-31 2014-11-19 オリンパスメモリーワークス株式会社 3次元画像データ生成方法
JP2012053113A (ja) 2010-08-31 2012-03-15 Nikon Corp 撮像装置、3次元画像生成システム、及び3次元画像生成プログラム
JP2012053303A (ja) 2010-09-01 2012-03-15 Sharp Corp ステレオカメラ装置および電子情報機器
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
US8836767B2 (en) * 2010-12-17 2014-09-16 Samsung Electronics Co., Ltd Imaging apparatus and imaging method
JP5963422B2 (ja) * 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP2012133185A (ja) * 2010-12-22 2012-07-12 Olympus Corp 撮像装置
JP3168741U (ja) * 2011-02-01 2011-06-30 裕伸 大崎 3眼式3d立体カメラ
JP4806471B2 (ja) * 2011-02-04 2011-11-02 三洋電機株式会社 撮像装置
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
US20130202191A1 (en) * 2012-02-02 2013-08-08 Himax Technologies Limited Multi-view image generating method and apparatus using the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630446A (ja) * 1992-07-13 1994-02-04 Ricoh Co Ltd 立体画像記録装置
JP2010041381A (ja) * 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
CN101588512A (zh) * 2009-01-07 2009-11-25 深圳市掌网立体时代视讯技术有限公司 一种立体摄像装置及方法
JP2010166229A (ja) * 2009-01-14 2010-07-29 Fujifilm Corp 立体撮像装置
US20110279654A1 (en) * 2010-05-14 2011-11-17 Panasonic Corporation Camera body, imaging device, method for controlling camera body, program, and storage medium storing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109507846A (zh) * 2015-06-23 2019-03-22 台湾东电化股份有限公司 摄影模块

Also Published As

Publication number Publication date
JP2013250360A (ja) 2013-12-12
US9621873B2 (en) 2017-04-11
JP5889719B2 (ja) 2016-03-22
US20130321592A1 (en) 2013-12-05
CN103458164B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
US9025039B2 (en) Image pickup apparatus and image blur correcting method for performing image blur correction based on at least one of shutter speed and amount of image blur when taking image
CN102428707B (zh) 立体视用图像对位装置和立体视用图像对位方法
CN102318331B (zh) 立体图像拾取装置
JP5321540B2 (ja) 画像補正処理装置、画像補正処理方法、及び画像補正処理プログラム
US9413923B2 (en) Imaging apparatus
CN102860015B (zh) 立体成像装置、图像再现装置
CN103636191A (zh) 三维摄像装置、透镜控制装置以及程序
US9294673B2 (en) Image generation method, image display method, storage medium storing image generation program, image generation system, and image display device
JP5739624B2 (ja) 光学機器、撮像装置、及び制御方法
CN104219436A (zh) 光学装置及其控制方法
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP2012015674A (ja) 撮像装置ならびにその動作制御方法およびそのプログラム
TW201328321A (zh) 3d成像模組及3d成像方法
CN111862169B (zh) 目标跟拍方法、装置、云台相机及存储介质
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
US20140327744A1 (en) Image processing apparatus, method thereof, and non-transitory computer readable storage medium
US20150288949A1 (en) Image generating apparatus, imaging apparatus, and image generating method
CN103458164A (zh) 摄像装置以及摄像方法
JP5688543B2 (ja) 立体画像撮像装置および立体画像撮像装置におけるレンズ駆動方法
JP5393877B2 (ja) 撮像装置および集積回路
JP2011095431A (ja) 立体映像撮像装置および立体映像撮像方法
JP2016042662A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
US20160381280A1 (en) Imaging apparatus and imaging method
JP2013175805A (ja) 表示装置および撮像装置
JP2012099887A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20200530

CF01 Termination of patent right due to non-payment of annual fee