CN105847702B - 摄像装置、摄像装置的控制方法 - Google Patents
摄像装置、摄像装置的控制方法 Download PDFInfo
- Publication number
- CN105847702B CN105847702B CN201610068778.5A CN201610068778A CN105847702B CN 105847702 B CN105847702 B CN 105847702B CN 201610068778 A CN201610068778 A CN 201610068778A CN 105847702 B CN105847702 B CN 105847702B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- shutter
- photographic device
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 53
- 230000003321 amplification Effects 0.000 claims abstract description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 3
- 230000035945 sensitivity Effects 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 3
- 238000009790 rate-determining step (RDS) Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 206010027146 Melanoderma Diseases 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Shutters For Cameras (AREA)
- Exposure Control For Cameras (AREA)
Abstract
提供摄像装置、摄像装置的控制方法,在使用电子/机械快门中的任意一方的情况下均得到高亮度部分的明亮度适当的动态范围较宽的图像。摄像装置(1)具有:摄像元件(21),其生成图像数据;机械快门(17),其控制被摄体光的遮光和通过;图像处理部(26),其利用与图像数据的各像素值的大小无关的统一的增益对图像数据的各像素值进行放大;以及CPU(36),其设定要使用的快门种类,在电子快门使用时控制摄像元件(21),根据使用哪个快门而将基于图像处理部(26)的放大的增益设定为不同值。
Description
技术领域
本发明涉及能够使用机械快门和电子快门的摄像装置、摄像装置的控制方法。
背景技术
在数字照相机等摄像装置中,以往,使用以机械方式驱动对被摄体光进行遮光的快门帘(或快门叶片等)并控制曝光时间的机械快门。
与此相对,近年来,提出了如下的摄像装置:其搭载了基于通过控制摄像元件的复位定时和读出定时来控制曝光时间的电子快门的拍摄模式。
与机械快门相比,电子快门能够实现静音化(不会产生快门的行走音和行走停止音等)、连拍性能的提高(不需要维持遮光状态来读出图像数据,在刚刚读出之后开始下一帧的曝光)、低消耗电力化(例如快门帘等的机械行走不需要电力)等。
而且,还提出了在摄像装置中搭载机械快门和电子快门双方并区分使用的技术。
首先,在当前的一般技术中,由于例如基于CMOS图像传感器的滚动读出的电子快门的帘速度比例如基于焦面快门等机械快门的帘速度慢很多,所以,当使用电子快门时,与使用焦面快门相比,会拍摄到移动的被摄体的失真较大的图像。另一方面,当使用机械快门时,由于使机械驱动机构进行动作,所以,与使用电子快门相比,需要较大的消耗电力。
因此,例如,在日本特开2013-179488号公报中记载了如下技术:检测被摄体的运动,在被摄体的运动较小的情况下使用电子快门进行拍摄,在被摄体的运动较大的情况下使用机械快门进行拍摄。由此,能够减少运动的被摄体的失真并实现低消耗电力化。
但是,在使用机械快门的情况下,关于最初读出的像素,从曝光时间结束后到读出为止的经过时间较短,但是,关于最后读出的像素,从曝光时间结束后到读出为止的经过时间较长(参照本发明的实施方式的图2的时间a、b等)。此时,摄像元件的各像素中设置的光电二极管具有随着电荷蓄积结束后到读出为止的经过时间变长、蓄积电荷量减少的性质(参照本发明的实施方式的图5)。
因此,在使用通过读出而使曝光时间结束(即,曝光结束和读出大致同时)的电子快门的摄像中,与使用机械快门的摄像相比,蓄积结束后的电荷量几乎不会减少,所以,当以相同增益进行放大时,所得到的图像中的特别是高亮度部分的明亮度不同(参照本发明的实施方式的图7的像素值Pe、Pm等)。
发明内容
简略地讲,本发明的某个方式的摄像装置能够使用机械快门和电子快门,该摄像装置具有:摄像元件,其通过多个像素对被摄体光进行光电转换而生成图像数据,依次读出所生成的图像数据的像素值;机械快门,其通过控制上述被摄体光的遮光和通过,对由上述摄像元件生成的图像数据的曝光时间进行控制;摄像控制部,其在使用上述机械快门时,在经过曝光时间而进行遮光后对从上述摄像元件依次读出像素值进行控制,在使用电子快门时,依次对上述摄像元件的各像素进行复位,对从经过曝光时间后的像素依次读出像素值进行控制;增益乘法部,其与像素值的大小无关而以统一的增益对上述图像数据的各像素的像素值进行放大;以及控制部,其对使用上述机械快门和上述电子快门中的哪个快门进行控制,并且根据使用哪个快门而将上述增益设定为不同值。
并且,在本发明的某个方式的摄像装置的控制方法中,该摄像装置具有:摄像元件,其通过多个像素对被摄体光进行光电转换而生成图像数据,依次读出所生成的图像数据的像素值;以及机械快门,其通过控制上述被摄体光的遮光和通过,对由上述摄像元件生成的图像数据的曝光时间进行控制,上述摄像装置的控制方法具有以下步骤:摄像控制步骤,在使用上述机械快门时,在经过曝光时间而进行遮光后对从上述摄像元件依次读出像素值进行控制,在使用电子快门时,依次对上述摄像元件的各像素进行复位,对从经过曝光时间后的像素依次读出像素值进行控制;增益乘法步骤,与像素值的大小无关而以统一的增益对上述图像数据的各像素的像素值进行放大;以及控制步骤,对使用上述机械快门和上述电子快门中的哪个快门进行控制,并且根据使用哪个快门而将上述增益设定为不同值。
附图说明
图1是示出本发明的实施方式1中的摄像装置的结构的框图。
图2是示出上述实施方式1中、机械快门使用时的摄像动作的时序图。
图3是示出上述实施方式1中、电子快门使用时的摄像动作的时序图。
图4是示出上述实施方式1中、针对像素值进行的信号值的调整的线图。
图5是示出上述实施方式1中、当曝光结束后到读出像素值为止的时间变长时、像素的光电二极管中蓄积的饱和电荷量减少的状况的线图。
图6是示出上述实施方式1中、与光电二极管中蓄积的电荷的量对应的减少比例的状况的线图。
图7是示出上述实施方式1中、使用相同的伽马曲线进行针对通过电子快门得到的像素值和通过机械快门得到的像素值进行的信号值的调整的例子的线图。
图8是示出上述实施方式1中、使用不同的伽马曲线进行针对通过电子快门得到的像素值和通过机械快门得到的像素值进行的信号值的调整的例子的线图。
图9是示出上述实施方式1中、根据摄像元件的温度而使来自像素的输出值变化的状况的线图。
图10是示出上述实施方式1中的摄像装置的摄像动作的流程图。
图11是示出上述实施方式1的图10的步骤S3中的快门种类自动设定的处理的详细情况的流程图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图11示出本发明的实施方式1,图1是示出摄像装置1的结构的框图。
该摄像装置1例如构成为数字照相机,具有镜头11、马达12、对焦控制部13、光圈机构14、马达15、光圈控制部16、快门17、马达18、快门控制部19、摄像元件21、温度测定部22、数据总线23、AE处理部24、AF处理部25、图像处理部26、非易失性存储器27、内置存储器28、压缩解压缩部29、LCD驱动器31、LCD32、拆装存储器33、输入部34、电源部35、CPU36。
镜头11是用于在摄像元件21上形成被摄体的光学像的摄像光学系统。
马达12是驱动镜头11的镜头驱动部。
对焦控制部13根据来自CPU36的指令对马达12进行控制,将镜头11驱动到合焦位置。
光圈机构14通过改变开口径,限制经由镜头11到达摄像元件21的被摄体光束的通过范围。根据该光圈机构14的开口径的变化,例如被摄体的光学像的明亮度变化,模糊的大小等UE变化。
马达15是驱动光圈机构14来改变开口径的光圈驱动部。
光圈控制部16根据来自CPU36的指令对马达15进行控制,驱动光圈机构14并调整为规定开口径。
快门17是通过控制被摄体光的遮光和通过、从而对由摄像元件21生成的图像数据的曝光时间进行控制的机械快门。作为具体例,该快门17构成为具有前帘和后帘的焦面快门。
马达18是将快门17的前帘和后帘驱动成充电状态的快门驱动部。
快门控制部19首先释放由该马达18充电(charge)的前帘和后帘中的前帘,然后在经过了曝光时间的时刻释放后帘,由此,对基于快门17的开闭动作的被摄体光的通过时间即曝光时间进行控制。
摄像元件21是如下的摄像部:具有呈二维状排列的多个像素,对经由镜头11、光圈机构14和打开状态的快门17入射的被摄体光进行光电转换并生成图像数据,依次读出所生成的图像数据的像素值。这里,各像素构成为包含产生与受光量对应的量的电荷的光电二极管。
由该摄像元件21生成的模拟图像数据通过设置在摄像元件21的内部或外部的未图示的A/D转换部转换为数字图像数据后,经由数据总线23进行转送,暂时存储在内置存储器28中。
温度测定部22测定摄像元件21的温度或摄像装置1内的摄像元件21的附近的温度,将测定出的温度输出到CPU36。
数据总线23是用于将摄像装置1内的某个场所产生的各种数据和控制信号转送到摄像装置1内的其他场所的总线。本实施方式中的数据总线23与摄像元件21、AE处理部24、AF处理部25、图像处理部26、非易失性存储器27、内置存储器28、压缩解压缩部29、LCD驱动器31、拆装存储器33、CPU36连接。
AE处理部24是根据由摄像元件21得到的图像数据测定被摄体的亮度的亮度检测部,还是根据测定出的亮度检测被摄体的暗部和亮部的亮度差(亮度动态范围)的亮度分布检测部。AE处理部24将测定出的亮度和亮度差输出到CPU36。
AF处理部25从由摄像元件21得到的图像数据中提取高频成分的信号,通过AF(自动对焦)积算处理取得合焦评价值。AF处理部25将取得的合焦评价值输出到CPU36。
图像处理部26对从摄像元件21读出的图像数据进行同时化处理、灰度转换处理、白平衡处理、噪声降低处理、边缘强调处理、伽马转换处理等各种图像处理。并且,该图像处理部26包括高动态范围合成处理部,该高动态范围合成处理部根据在高动态范围(HDR:High Dynamic Range)拍摄模式中使曝光不同而拍摄的多个图像数据,对高动态范围图像数据进行合成。进而,图像处理部26包括运动物体检测部,该运动物体检测部根据例如实时取景时按照每帧取得的各图像数据检测被摄体的运动量。
非易失性存储器27是非易失地存储由CPU36执行的处理程序、执行处理程序时所需要的参数或用户的设定数据等与该摄像装置1有关的各种信息的存储介质。该非易失性存储器27存储的信息由CPU36读取。
内置存储器28是暂时存储由上述摄像元件21得到的图像数据或在图像处理部26或压缩解压缩部29中进行处理后的图像数据等各种数据的存储部,成为能够高速写入/读出的存储器。因此,内置存储器28还被用作图像处理部26进行各种图像处理时的工作存储器。
压缩解压缩部29在记录图像数据时,从内置存储器28中读出图像数据,例如按照JPEG压缩方式对读出的图像数据进行压缩,将压缩后的图像数据再次存储在内置存储器28中。这样,通过CPU36对内置存储器28中存储的压缩后的图像数据附加标题等,作为记录用的图像文件进行整理,根据CPU36的控制而记录在拆装存储器33中。
并且,压缩解压缩部29还进行读出的图像数据的解压缩。即,在进行已记录图像的再现的情况下,根据CPU36的控制从拆装存储器33中读出例如JPEG文件,暂时存储在内置存储器28中。压缩解压缩部29读出内置存储器28中存储的JPEG图像数据,按照JPEG解压缩方式对读出的JPEG图像数据进行解压缩,将解压缩后的图像数据存储在内置存储器28中。
LCD驱动器31读出内置存储器28中存储的图像数据,将读出的图像数据转换为影像信号,对LCD32进行驱动控制,使LCD32显示基于影像信号的图像。在由该LCD驱动器31进行的图像显示中,包括在短时间内显示刚刚拍摄之后的图像数据的记录浏览显示、拆装存储器33中记录的JPEG文件的再现显示、实时取景显示和用于进行与摄像装置1有关的设定的菜单显示等。
LCD32通过上述LCD驱动器31的驱动控制来显示图像,并且显示与该摄像装置1有关的各种信息。
拆装存储器33是非易失地记录图像数据的记录介质,例如由能够相对于摄像装置1进行拆装的存储卡等构成。因此,拆装存储器33不需要是摄像装置1固有的结构。
输入部34是用于对该摄像装置1进行各种操作输入的操作部,包括用于接通/断开摄像装置1的电源的电源按钮、用于指示图像的拍摄开始的释放按钮、用于进行记录图像的再现的再现按钮、用于进行摄像装置1的设定等的菜单按钮、项目的选择操作中使用的十字键和选择项目的确定操作中使用的OK按钮等各种操作按钮。这里,在能够使用菜单按钮、十字键、OK按钮等设定的项目中包括拍摄模式(通常拍摄模式、高动态范围拍摄模式等)、再现模式中的再现对象文件的选择、ISO感光度的设定等(因此,输入部34兼用作设定ISO感光度的感光度设定部)。当对该输入部34进行操作时,与操作内容对应的信号从输入部34输出到CPU36。
电源部35对包含CPU36的该摄像装置1内的各部供给电力。
CPU36是对该摄像装置1内的各部进行总括控制的控制部。当从输入部34进行操作输入后,CPU36根据非易失性存储器27中存储的处理程序,从非易失性存储器27中读入处理所需要的参数,执行与操作内容对应的各种顺序。
该CPU36兼用作曝光值计算部,该曝光值计算部根据由AE处理部24测定出的亮度,使用程序线图等计算与适当曝光值对应的光圈值、曝光时间(也称为快门速度)、ISO感光度。CPU36对使用机械快门17和电子快门中的哪个快门进行控制,并且,根据使用哪个快门,将与像素值相乘的增益如后所述地设定为不同值。而且,CPU36根据计算出的光圈值,经由光圈控制部16进行光圈机构14的控制,根据计算出的曝光时间,经由快门控制部19进行快门17的控制,或者控制摄像元件21的曝光定时进行元件快门,根据计算出的ISO感光度使摄像元件21或图像处理部26进行放大。这样,进行基于曝光运算结果的自动曝光(AE)控制。
并且,CPU36经由对焦控制部13驱动镜头11,以使得由AF处理部25取得的合焦评价值取最大值,由此进行对比度AF。另外,AF当然不限于这种对比度AF,例如也可以使用专用的相位差AF传感器(或摄像元件21上的相位差检测用像素)进行相位差AF。
进而,CPU36进行静态图像或动态图像的图像拍摄中的曝光量和摄像定时的控制。例如,CPU36作为如下的摄像控制部发挥功能:在机械快门使用时,在经过曝光时间并进行遮光后对来自摄像元件21的像素值的依次读出进行控制,在电子快门使用时,依次对摄像元件21的各像素进行复位,对经过曝光时间后的来自像素的像素值的依次读出进行控制。
而且,CPU36进行将由图像处理部26生成的图像数据转换为文件形式并记录在拆装存储器33中的控制。
图2是示出机械快门使用时的摄像动作的时序图。在该图2和接着说明的图3中,横轴示出时间的经过,纵轴示出在摄像元件21的垂直方向上排列的各水平行的并列。
机械快门在进行充电时,前帘成为遮光状态,后帘成为开放状态。而且,在通过前帘进行遮光的状态下,首先,统一对全部像素进行复位RST。
然后,释放前帘MSF并开始行走,从第1行朝向最终行进行依次曝光。在经过了第1行的曝光时间Texp的时点,释放后帘MSR并开始行走,从第1行朝向最终行结束依次曝光。此时,由于以使前帘MSF的行走特性和后帘MSR的行走特性相同的方式构成快门17,所以,任意行的曝光时间为Texp。
在后帘MSR的行走结束而使摄像元件21成为遮光状态后,通过滚动读出,例如逐行依次进行各像素的像素值的读出RD。在读出该曝光结束后的像素值时,由于摄像元件21被遮光,所以不会进行基于各像素的新的电荷的蓄积。与机械快门在全部行中行走所需要的时间相比,在全部行中进行滚动读出所需要的时间较长,所以,关于从曝光结束时点到读出时点为止的时间间隔,如图所示,读出开始行为时间a,是最短的,然后依次变长,读出结束行为时间b(这里b>a),是最长的。
另一方面,图3是示出电子快门使用时的摄像动作的时序图。
在电子快门使用时,机械快门17预先维持开放状态,被摄体光持续入射到摄像元件21。
在该状态下,以与滚动读出RD相同的速度(电子快门不使快门帘行走,但是,作为发挥同样功能的比喻,将其速度称为帘速度)依次进行各像素的复位RST。针对任意像素,在进行复位RST后经过了曝光时间Texp的时点进行像素值的读出RD。
即,在电子快门的情况下,由于曝光结束和像素值的读出是同时的,所以,在曝光结束后读出像素值为止的时间在全部像素中相等而为0,在读出开始行和读出结束行中没有差异。并且,在电子快门使用时,由于在刚刚读出之后也会入射被摄体光,所以,始终进行新的电荷的蓄积。
图4是示出针对像素值进行的信号值的调整的线图。
首先,由像素取得的像素值P如图所示,在达到饱和电平之前,随着像素的曝光量增加例如成比例地增加,但是,在达到饱和电平后,即使曝光量增加,电平也没有变化。
针对这种图像数据的各像素的像素值P,首先,通过增益乘法部(线性放大部),与像素值的大小无关地乘以统一的增益g,得到g×P,由此进行放大。以使得与饱和电荷量对应的像素值成为输出动态范围的上限值(即,成为最大亮度值)的方式决定该增益g的值。这里,增益乘法部例如相当于摄像元件21的放大功能或由图像处理部26进行的放大处理等。
进而,在图像处理部26内,针对由上述增益乘法部进行放大后的图像数据的各像素的像素值g×P进行伽马转换处理,得到γ(g×P)。这里,伽马转换处理是通过以与像素值的大小对应的不同放大率进行变化的伽马曲线γ对所输入的像素值进行转换的处理。这样,由图像处理部26进行的伽马转换处理相当于伽马转换部(非线性放大部)。
图5是示出当曝光结束后到读出像素值为止的时间变长时、像素的光电二极管中蓄积的饱和电荷量减少的状况的线图。
公知各像素中设置的光电二极管产生泄漏电荷,不仅曝光结束后蓄积的电荷漏出,例如在进行光电转换并蓄积新的电荷的过程中也产生泄漏电荷。
此时,像素的光电二极管中蓄积的饱和电荷量随着从曝光结束时点起的时间的经过而例如单调减少,与在时间a读出的读出开始行相比,在时间b读出的读出结束行的减少量较大。
因此,与使用机械快门的情况相比,在使用电子快门的情况下具有蓄积电荷的损失较少的优点。
图6是示出与光电二极管中蓄积的电荷的量对应的减少比例的状况的线图。
光电二极管中蓄积的电荷量越多,则从光电二极管漏出的电荷越多,但是,并不是单纯地与蓄积电荷量成比例,例如在蓄积电荷量较小时,泄漏电荷量为几乎可以无视的程度,但是,随着接近饱和电荷量,泄漏电荷量急剧增大。图6示出这种减少比例的倾向的概略。
图7是示出使用相同的伽马曲线进行针对通过电子快门得到的像素值和通过机械快门得到的像素值进行的信号值的调整的例子的线图。另外,在该图7和后面说明的图8中,作为机械快门的情况下的像素值Pm,示出从最终行得到的像素值(即,由于泄漏电荷而引起的电荷量的减少在图像内最大的行的像素值)。
在电子快门中,如上所述,由于曝光结束和像素值的读出是同时的,所以,在曝光结束后,从光电二极管漏出的电荷大致为0。与此相对,在机械快门的情况下,在蓄积相同电荷量时,如图5所示,与读出开始行中读出的像素值相比,读出结束行中读出的像素值(特别是在接近饱和电荷量的地方成为更大的减少比例)也较小。
因此,使用电子快门进行曝光并从像素中读出的像素值Pe与使用机械快门进行曝光并从像素中读出的像素值Pm相比,饱和电荷量较大,所以,得到与更大的曝光量(比使用机械快门的情况下的最大曝光量Em大的最大曝光量Ee)对应的较高像素值作为输出,动态范围较宽。因此,以使与饱和电荷量对应的像素值成为输出动态范围的上限值的方式决定的增益g在像素值Pe和像素值Pm中成为不同值,与像素值Pe对应的是增益ge,与像素值Pm对应的是增益gm,ge<gm。
此时,在机械快门的情况下,由于在读出开始行和读出结束行中电荷的减少量不同,所以,以使与饱和电荷量对应的像素值成为输出动态范围的上限值的方式进行相乘的增益gm的值根据行的不同而不同。关于这点,在本实施方式中,针对全部行应用与读出结束行的饱和电荷量对应的像素值成为输出动态范围的上限值的增益gm的值。
由此,仅通过对图像整体乘以统一的值的增益gm,就能够针对全部像素使与饱和电荷量对应的像素值成为输出动态范围的上限值(另外,针对当乘以增益gm时超过输出动态范围的上限值的像素值,进行规整为输出动态范围的上限值的处理)。
然后,当使用相同的伽马曲线γ对乘以了增益ge后的像素值ge×Pe和乘以了增益gm后的像素值gm×Pm进行伽马转换时,成为γ(ge×Pe)、γ(gm×Pm),但是,如上所述,由于ge<gm,所以,标准明亮度部分(例如输出动态范围的1/8的明亮度的部分)中的像素值成为γ(gm×Pm)>γ(ge×Pe),与使用机械快门的拍摄相比,使用电子快门的拍摄成为低ISO感光度拍摄(这里,摄像装置1的ISO感光度由作为与像素值无关的固定值进行相乘的增益g和图像处理中的与像素值对应的转换曲线即伽马曲线γ这双方来决定)。
并且,图8是示出使用不同的伽马曲线进行针对通过电子快门得到的像素值和通过机械快门得到的像素值进行的信号值的调整的例子的线图。
在该图8所示的例子中,示出分别使用不同的伽马曲线γe、γm对以固定的增益ge、gm进行放大后的各像素值ge×Pe、gm×Pm进行伽马转换时的状况,这里,选择成为相同ISO感光度拍摄(具体而言,输出动态范围的1/8的明亮度的部分中的输出值的斜率相同)的伽马曲线γe、γm。在该例子中,进而,标准明亮度部分(例如输出动态范围的1/8的明亮度的部分)中的像素值成为γm(gm×Pm)=γe(ge×Pe)。
这里,动态范围的1/8是一例,是应该由高光的动态范围和阴影(暗侧)的动态范围的设计来决定的值。
在图7和图8中的任意一方所示的例子中,与机械快门时到达饱和电荷量的最大曝光量Em相比,电子快门时到达饱和电荷量的最大曝光量Ee较大,所以,如果使用电子快门,则能够进一步加宽高光侧的曝光量动态范围。
进而,图9是示出根据摄像元件21的温度而使来自像素的输出值变化的状况的线图。在该图9中,作为一例,示出使用机械快门通过温度10℃、20℃、30℃、40℃、50℃的摄像元件21进行曝光并输出的像素值Pm的例子。
各像素中设置的光电二极管具有随着摄像元件21成为高温、饱和电荷量减小的特性。
因此,如图所示可知,温度越高,则从摄像元件21输出的像素值Pm的上限越低,在摄像元件21的温度较高的情况下动态范围(输出动态范围和曝光量动态范围)较窄,需要以与温度对应的大小的增益gm进行放大。
当设与摄像元件21的温度为t℃时从最终行得到的饱和电荷量对应的像素值为Pmmax(t)、输出动态范围的上限值为Poutmax时,该增益gm如下设定即可:
gm=Poutmax/Pmmax(t)
另外,这里,举出通过机械快门得到的像素值Pm作为例子,但是,通过电子快门得到的像素值Pe也成为同样的温度特性,需要以与温度对应的大小的增益ge进行放大。
该增益ge与上述增益gm同样,当设与摄像元件21的温度为t℃时得到的饱和电荷量对应的像素值为Pemax(t)时,如下设定即可:
ge=Poutmax/Pemax(t)
此时,当γ相同时,感光度(ISO感光度)提高与增益上升对应的量,所以,需要调整γ而使动态范围的1/8的部分的感光度不变。
这样,电子快门拍摄与机械快门拍摄相比,由于帘速度较慢,所以,具有在图像中产生移动被摄体的畸变的缺点,但是,另一方面,由于饱和电荷量较大,所以具有以下优点:
(1)能够进行低ISO感光度的拍摄
(2)能够加宽高光侧的曝光量动态范围
因此,在本实施方式的摄像装置1中,能够根据拍摄时的各种条件进行快门种类的自动设定,以活用电子快门和机械快门各自的优点。
图10是示出摄像装置1的摄像动作的流程图。
当从未图示的主处理进入该处理后,CPU36判定是否进行了手动选择快门种类的设定(步骤S1)。
这里,在判定为设定了手动选择的情况下,根据手动设定,CPU36将快门种类设定为电子快门和机械快门中的任意一方(步骤S2)。
并且,在步骤S1中判定为未设定手动选择的情况下,CPU36进行后面参照图11说明的快门种类的自动设定(步骤S3)。
在进行步骤S2或步骤S3的处理并设定了快门种类后,CPU36判定所设定的快门是否是电子快门(步骤S4)。
这里,在判定为是电子快门的情况下,CPU36从电子快门拍摄时能够设定的ISO感光度范围中,在存在手动的ISO感光度设定的情况下设定与该设定对应的ISO感光度,并且,在不存在手动的ISO感光度设定的情况下通过自动处理设定与程序线图等对应的ISO感光度(步骤S5)。
这里,电子快门与机械快门相比,如上所述能够进行低ISO感光度拍摄,所以,使用电子快门时能够设定的ISO感光度范围和使用机械快门时能够设定的ISO感光度范围不同,这里,由于使用电子快门,所以,从与电子快门拍摄对应的ISO感光度范围中进行ISO感光度的设定。
接着,CPU36设定与所设定的ISO感光度对应的电子快门用的增益ge的值(步骤S6)。在该增益ge的设定时,如上所述,也可以考虑从温度测定部22取得的摄像元件21的温度。
然后,在通过输入部34的释放按钮进行了指示图像的拍摄开始的释放操作后,根据CPU36的控制,使用电子快门执行通过摄像元件21进行曝光并读出图像数据的摄像动作(步骤S7)。
这样得到图像数据后,根据CPU36的控制,在图像处理部26中进行各种图像处理,并且,作为显影处理的一部分,例如进行使用电子快门用的伽马曲线γe的伽马转换(步骤S8)。另外,这里使用电子快门用的伽马曲线γe,但是,如图7所示,也可以使用与机械快门共通的伽马曲线γ。
另一方面,在步骤S4中判定为不是电子快门(即是机械快门)的情况下,CPU36从机械快门拍摄时能够设定的ISO感光度范围中,在存在手动的ISO感光度设定的情况下设定与该设定对应的ISO感光度,并且,在不存在手动的ISO感光度设定的情况下通过自动处理设定与程序线图等对应的ISO感光度(步骤S9)。
接着,CPU36设定与所设定的ISO感光度对应的机械快门用的增益gm的值(步骤S10)。在该增益gm的设定时,如上所述,也可以考虑从温度测定部22取得的摄像元件21的温度。
然后,在通过输入部34的释放按钮进行了指示图像的拍摄开始的释放操作后,根据CPU36的控制,使用机械快门执行通过摄像元件21进行曝光并读出图像数据的摄像动作(步骤S11)。
这样得到图像数据后,根据CPU36的控制,在图像处理部26中进行各种图像处理,并且,作为显影处理的一部分,例如进行使用机械快门用的伽马曲线γm的伽马转换(步骤S12)。另外,虽然这里使用了机械快门用的伽马曲线γm,但是,如图7所示,也可以使用与电子快门共同的伽马曲线γ。
这样,在本实施方式的摄像装置1中,在电子快门时和机械快门时,使与像素输出相乘的增益g成为不同值(参照图7),进而,根据需要还使伽马曲线γ成为不同曲线(参照图8)。
进行了步骤S8或步骤S12的处理后,CPU36将图像处理后的图像数据作为图像文件保存在拆装存储器33中(步骤S13),从该处理返回主处理。
图11是示出图10的步骤S3中的快门种类自动设定的处理的详细情况的流程图。
进入该处理后,首先,CPU36判定是否设定为高动态范围(HDR)拍摄模式(步骤S21)。
这里,在判定为未设定为高动态范围(HDR)拍摄模式的情况下,根据实时取景时按照每帧取得的各图像数据,图像处理部26的运动物体检测部测定被摄体的运动量(步骤S22)。
然后,CPU36判定测定出的运动量是否为预先设定的阈值以上(步骤S23)。
这里,在判定为运动量小于阈值的情况下,AE处理部24测定被摄体的亮度(步骤S24),CPU36判定由当前设定的曝光时间、光圈值和ISO感光度确定的曝光值是否超过CPU36根据测定出的亮度计算出的适当曝光值(步骤S25)。
这里,在被摄体的亮度较高的情况下,通过进行缩短曝光时间(加快快门速度)、缩小光圈、降低ISO感光度中的至少一方,能够得到适当曝光。
但是,有时存在希望减慢快门速度且故意晃动被摄体来表现运动、或希望打开光圈而增大背景的模糊等的用户作画意图,在这种情况下,能够进一步降低ISO感光度,拍摄的范围加宽,是有利的。
因此,在该步骤S25中通过用户的手动设定等而成为过曝光的情况下,切换为能够应对更低ISO感光度的电子快门。
这里,在判定为未成为过曝光的情况下,AE处理部24还根据测定出的亮度测定被摄体的亮度差(亮度动态范围)(步骤S26)。
CPU36判定测定出的亮度差是否为预先设定的阈值以上(步骤S27),在判定为亮度差小于阈值的情况下,取得由温度测定部22测定出的摄像元件21(或摄像装置1内的摄像元件21的附近)的温度(步骤S28)。
CPU36判定所取得的温度是否为预先设定的阈值以上(步骤S29)。
这里,在判定为温度小于阈值的情况下、或在上述步骤S23中判定为运动量为阈值以上的情况下,选择使用机械快门并进行设定(步骤S30)。
并且,在步骤S21中判定为设定为高动态范围(HDR)拍摄模式的情况下、在步骤S25中判定为成为过曝光的情况下、在步骤S27中判定为亮度差(亮度动态范围)为阈值以上的情况下、在步骤S29中判定为温度为阈值以上的情况下,CPU36选择使用电子快门并进行设定(步骤S31)。
这样,在进行步骤S30或步骤S31的处理并设定了快门种类后,返回图10所示的处理。
另外,虽然在图11中没有明示,但是,如上所述,由于在电子快门和机械快门中能够设定的ISO感光度范围不同,所以,在电子快门和机械快门中,仅在其中一方的使用时能够设定为由感光度设定部设定的ISO感光度的情况下,CPU36进行控制以使用该一方的快门。
并且,在图11中,通过多个判断分支来决定使用电子快门和机械快门中的哪个,但是,不需要进行全部这些判断,也可以仅进行任意一个以上(在2个以上的情况下为任意组合)。或者,还可以追加其他判断分支。
根据这种实施方式1,根据使用机械快门和电子快门中的哪个快门而将增益设定为不同值,所以,在使用任意快门的情况下,均能够得到高亮度部分的明亮度适当的动态范围(例如输出动态范围)较宽的图像数据。
而且,在使用电子快门的情况下,能够进行更低ISO感光度的低噪声拍摄,特别是能够拍摄高光侧的动态范围(例如曝光量动态范围)较宽的图像。另一方面,在使用机械快门的情况下,由于帘速较快,所以,能够减小由于滚动读出而引起的被摄体的运动物体失真。
并且,由于在HDR拍摄模式时使用电子快门,所以,能够得到动态范围(例如曝光量动态范围)更宽的图像。
进而,由于在被摄体的运动量较大的情况下使用机械快门,所以,能够有效减少被摄体的运动物体失真。
而且,在通过用户的手动设定等而成为过曝光的情况下,通过切换为能够应对更低ISO感光度的电子快门,能够降低ISO感光度的设定值,能够减少过曝光。
而且,在判定为被摄体的亮度差较大的情况下,使用动态范围(例如曝光量动态范围)更宽的电子快门,所以,能够拍摄抑制了暗部的黑斑或明部的白斑的图像。
并且,在摄像元件21的温度较高的情况下,使用饱和电荷量更大的电子快门,所以,补偿了随着成为高温而使饱和电荷量减小的光电二极管的特性,能够取得动态范围(例如曝光量动态范围)更宽的图像。
另外,上述主要说明了摄像装置,但是,也可以是如上所述控制摄像装置的控制方法,还可以是用于使计算机如上所述控制摄像装置的控制程序、记录该控制程序的计算机可读取的非暂时的记录介质等。
Claims (11)
1.一种摄像装置,其能够使用机械快门和电子快门,其特征在于,该摄像装置具有:
摄像元件,其通过多个像素对被摄体光进行光电转换而生成图像数据,依次读出所生成的图像数据的像素值;
机械快门,其通过控制上述被摄体光的遮光和通过,对由上述摄像元件生成的图像数据的曝光时间进行控制;
摄像控制部,其在使用上述机械快门时,在经过曝光时间而进行遮光后对从上述摄像元件依次读出像素值进行控制,在使用电子快门时,依次对上述摄像元件的各像素进行复位,对从经过曝光时间后的像素依次读出像素值进行控制;
增益乘法部,其与像素值的大小无关而以统一的增益对上述图像数据的各像素的像素值进行放大;以及
控制部,其对使用上述机械快门和上述电子快门中的哪个快门进行控制,并且以与饱和电荷量对应的像素值成为输出动态范围的上限值的方式决定上述增益,根据使用上述机械快门和上述电子快门中的哪个快门而将上述增益设定为不同值。
2.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有伽马转换部,该伽马转换部通过以与像素值的大小对应的不同放大率进行变化的伽马曲线,对由上述增益乘法部放大的上述图像数据的各像素的像素值进行转换,
上述控制部还根据使用上述机械快门和上述电子快门中的哪个快门,将上述伽马曲线设定为不同曲线。
3.根据权利要求2所述的摄像装置,其特征在于,
上述控制部在使用上述电子快门的情况下,以使得从上述摄像元件中读出的与像素的饱和电荷量对应的像素值成为最大亮度值的方式设定上述增益,在使用上述机械快门的情况下,以使得从上述摄像元件中最后读出的与像素的饱和电荷量对应的像素值成为最大亮度值的方式设定上述增益,进行上述放大。
4.根据权利要求3所述的摄像装置,其特征在于,
上述摄像装置还具有测定上述摄像元件或上述摄像元件附近的温度的温度测定部,
上述控制部还根据由上述温度测定部测定出的温度来设定上述增益。
5.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有设定ISO感光度的感光度设定部,
使用上述机械快门时能够设定的ISO感光度范围和使用上述电子快门时能够设定的ISO感光度范围不同,
上述控制部进行控制,使得在上述电子快门和上述机械快门中,仅在其中一方的使用时能够设定为由上述感光度设定部设定的ISO感光度的情况下,使用该一方的快门。
6.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有检测被摄体的亮度动态范围的亮度分布检测部,
上述控制部进行控制,使得在上述亮度动态范围为预先设定的阈值以上的情况下,使用上述电子快门。
7.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有检测被摄体的运动量的运动物体检测部,
上述控制部进行控制,使得在上述被摄体的运动量为预先设定的阈值以上的情况下,使用上述机械快门。
8.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有根据被摄体的亮度来计算适当曝光值的曝光值计算部,
上述控制部进行控制,使得在当前设定的曝光值超过由上述曝光值计算部计算出的适当曝光值的情况下,使用上述电子快门。
9.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有测定上述摄像元件或上述摄像元件附近的温度的温度测定部,
上述控制部进行控制,使得在由上述温度测定部测定出的温度为预先设定的阈值以上的情况下,使用上述电子快门。
10.根据权利要求1所述的摄像装置,其特征在于,
上述摄像装置还具有高动态范围合成处理部,该高动态范围合成处理部根据在高动态范围拍摄模式中使曝光不同而拍摄的多个图像数据,合成高动态范围图像数据,
上述控制部进行控制,使得在设定为上述高动态范围拍摄模式的情况下,使用上述电子快门。
11.一种摄像装置的控制方法,该摄像装置具有:
摄像元件,其通过多个像素对被摄体光进行光电转换而生成图像数据,依次读出所生成的图像数据的像素值;以及
机械快门,其通过控制上述被摄体光的遮光和通过,对由上述摄像元件生成的图像数据的曝光时间进行控制,
其特征在于,上述摄像装置的控制方法具有以下步骤:
摄像控制步骤,在使用上述机械快门时,在经过曝光时间而进行遮光后对从上述摄像元件依次读出像素值进行控制,在使用电子快门时,依次对上述摄像元件的各像素进行复位,对从经过曝光时间后的像素依次读出像素值行控制;
增益乘法步骤,与像素值的大小无关而以统一的增益对上述图像数据的各像素的像素值进行放大;以及
控制步骤,对使用上述机械快门和上述电子快门中的哪个快门进行控制,并且以与饱和电荷量对应的像素值成为输出动态范围的上限值的方式决定上述增益,根据使用上述机械快门和上述电子快门中的哪个快门而将上述增益设定为不同值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-019690 | 2015-02-03 | ||
JP2015019690A JP6395627B2 (ja) | 2015-02-03 | 2015-02-03 | 撮像装置、撮像装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105847702A CN105847702A (zh) | 2016-08-10 |
CN105847702B true CN105847702B (zh) | 2018-11-27 |
Family
ID=56553510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610068778.5A Expired - Fee Related CN105847702B (zh) | 2015-02-03 | 2016-02-01 | 摄像装置、摄像装置的控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9648247B2 (zh) |
JP (1) | JP6395627B2 (zh) |
CN (1) | CN105847702B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6466786B2 (ja) * | 2015-06-12 | 2019-02-06 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
US9571741B1 (en) | 2015-10-08 | 2017-02-14 | Gopro, Inc. | Smart shutter in low light |
JP6914633B2 (ja) | 2016-09-30 | 2021-08-04 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP2018081224A (ja) * | 2016-11-17 | 2018-05-24 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2018113614A (ja) * | 2017-01-12 | 2018-07-19 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および撮像方法、電子機器、並びに信号処理装置 |
EP3564746B1 (en) * | 2017-01-20 | 2021-11-03 | Sony Group Corporation | Imaging device, imaging method, and program |
JP7218168B2 (ja) * | 2018-12-14 | 2023-02-06 | キヤノン株式会社 | 撮像装置、その制御方法、およびそのプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1856024A (zh) * | 2005-04-26 | 2006-11-01 | 奥林巴斯映像株式会社 | 图像获取装置 |
CN101047796A (zh) * | 2006-03-29 | 2007-10-03 | 佳能株式会社 | 成像设备和用于该成像设备的方法 |
CN104272722A (zh) * | 2012-03-30 | 2015-01-07 | 索尼公司 | 固态成像元件、固态成像元件的驱动方法、以及电子装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7292274B2 (en) * | 2001-11-06 | 2007-11-06 | Eastman Kodak Company | Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate |
JP4024057B2 (ja) * | 2002-03-06 | 2007-12-19 | 富士フイルム株式会社 | デジタルカメラ |
JP2004187087A (ja) * | 2002-12-04 | 2004-07-02 | Canon Inc | 撮像装置 |
JP5359315B2 (ja) * | 2009-01-28 | 2013-12-04 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
JP2012095219A (ja) * | 2010-10-28 | 2012-05-17 | Canon Inc | 撮像装置およびその制御方法 |
JP2013179488A (ja) * | 2012-02-28 | 2013-09-09 | Nikon Corp | 撮像装置、及びプログラム |
-
2015
- 2015-02-03 JP JP2015019690A patent/JP6395627B2/ja active Active
- 2015-10-21 US US14/918,975 patent/US9648247B2/en active Active
-
2016
- 2016-02-01 CN CN201610068778.5A patent/CN105847702B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1856024A (zh) * | 2005-04-26 | 2006-11-01 | 奥林巴斯映像株式会社 | 图像获取装置 |
CN101047796A (zh) * | 2006-03-29 | 2007-10-03 | 佳能株式会社 | 成像设备和用于该成像设备的方法 |
CN104272722A (zh) * | 2012-03-30 | 2015-01-07 | 索尼公司 | 固态成像元件、固态成像元件的驱动方法、以及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105847702A (zh) | 2016-08-10 |
US9648247B2 (en) | 2017-05-09 |
US20160227091A1 (en) | 2016-08-04 |
JP6395627B2 (ja) | 2018-09-26 |
JP2016144095A (ja) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105847702B (zh) | 摄像装置、摄像装置的控制方法 | |
US8023004B2 (en) | Imaging apparatus, imaging method, and program for selectively controlling gain in a normal imaging mode and a combined imaging mode | |
CN102447912B (zh) | 图像处理装置、白平衡校正方法以及摄像装置 | |
US9338358B2 (en) | Image capture apparatus and control method for reflecting exposure compensation | |
CN103595921A (zh) | 摄像装置 | |
CN104883480A (zh) | 摄像装置和摄像方法 | |
JP4136464B2 (ja) | 撮像装置及び撮像方法 | |
CN102377939B (zh) | 摄像装置以及图像再现装置 | |
JP2010054730A (ja) | 合焦位置検出装置、撮像装置及び合焦位置検出方法 | |
US7945155B2 (en) | Apparatus for capturing images, method of controlling exposure in the apparatus, and computer readable recording medium storing program | |
JP2006108759A (ja) | 撮像装置 | |
CN107211097A (zh) | 摄像装置、摄像方法以及图像显示装置 | |
JP2011119944A (ja) | 撮像装置およびその制御方法 | |
CN104144286A (zh) | 拍摄装置和拍摄方法 | |
JP2014060578A (ja) | 撮像装置 | |
JP2012163679A (ja) | 撮像装置、ストロボ制御方法およびストロボ制御プログラム | |
JP2012124652A (ja) | 撮像装置及び画像処理方法 | |
JP4869801B2 (ja) | 撮影装置 | |
JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
JP5473582B2 (ja) | 画像処理装置、方法及びプログラム | |
JP5587045B2 (ja) | 撮像装置及びその制御方法 | |
JP4996364B2 (ja) | 撮像装置 | |
JP2010271507A (ja) | 撮像装置、露出調整方法及びプログラム | |
CN102196186A (zh) | 摄像装置及其控制方法 | |
JP6465167B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211213 Address after: Tokyo, Japan Patentee after: Aozhixin Digital Technology Co.,Ltd. Address before: Tokyo, Japan Patentee before: OLYMPUS Corp. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181127 |